基于移动代理的学习资源采集模型的研究与实现

《基于移动代理的学习资源采集模型的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、1绪论1.1课题来源与背景网络教育融合现代网络技术、多媒体技术、信息技术的优势，革新了传统教育模式，为人们提供了一个不受时空限制的全新教育环境，使实现大范围的教育资源共享成为可能。学习资源服务是网络教育领域的重要内容，学习资源服务质量的高低直接影响了网络教育的实际实施效果。学习资源检索是网络教育中学习资源服务的重要内容，高效的学习资源采集技术是提高网络教育的学习资源服务质量的关键要素。移动代理是软件代理中的一种，它除了具有软件代理的自治性，协作性，前瞻性[1]等特点外，还具备一般软件代理所不具备的移动性（主动地移动）。移动代理技术的[2

2、]出现源于互联网设备向可移动化的发展。由于移动平台硬件环境恶劣，采用独立的计算方式会导致效率低下甚至无法完成，移动代理技术的出现使得移动终端可以将计[3]算任务委托给硬件环境更好的基站，从而将移动终端网络中的资源合理利用。移动[4]代理技术是一个综合性的技术，它使分布式系统的设计、实现和维护都简单许多。将移动代理技术应用于分布式学习资源服务网络，并基于移动代理技术建立B/S模式的学习资源采集系统，可以有效的解决用户个性化服务，分布式资源检索等问题，实现较高的学习资源服务质量，从而提高网络教育资源服务的整体水平。1.2研究的目的和意义传统

3、的学习资源采集方式是一种基于关键词的集中式资源采集模式，用户必须首先访问服务门户网站，输入自己所需要的资源的若干关键词。该网站有一个中心管理模块来处理这个请求，然后在数据库系统中根据此关键词对数据库中存储的资源数据进行比对和定位，最后将查找到的数据反馈给用户。这种采集模式存在一些缺点，如入口单一，网络依赖程度高，检索结果不准确等。而本文提出的自主迁移式采集模型在这些问题上均有改进。1.2.1传统资源采集模型存在的问题传统的学习资源采集模型是建立在SOAP通信协议之上的。它的具体架构如图1-1所示。11Web服务器采采采集集集服服服务务务

4、器器器一二三图1-1集中式采集模型在传统的学习资源采集模型中，用户登录学习资源发布网站，输入查找关键词，网站对关键词进行简单处理，然后通过SOAP协议传输到后台的数据服务器。即用一个符合SOAP标准的XML文件将检索信息封装起来，然后通过HTTP/HTTPS协议（通常采用此类协议，因为这两种协议用的范围更广，当然，也可以采用其他标准协议或者自定义加密协议进行传输）传输到Web下层。一般大型的学习资源发布网站由于业务量大，通常会采用多服务器协作的方式，因此会通过一个负载均衡器将检索请求分发到多个检索服务器上。检索服务器首先会在他本地的文件

5、快照中进行检索，待检索结果全部出来后反馈给负载均衡器，然后由负载均衡器反馈给Web服务器，最后，检索结果就显示在页面上。在这里要指出的是，各个网站后台的处理方式仍然是存在差异的。具体差异表现在快照和真实结果的选取上。有些网站为了保证检索结果的真实性和全面性不采用快照方式或者索引的方式，后台的检索服务器就需要实时的进行网络抓取或者遍历各个数据库，结果就是检索速度会非常慢。当然，如果数据量不大，访问量不大，这种方式性能上不会遇到瓶颈。而有的网站由于访问量和数据量超大，如某些门户网站，信息量均上亿级。它们为了追求速度即更好的用户体验，往往就会

6、建立庞大的文件快照和索引，这些快照和索引按照一定的算法保持与真实数据的同步。比如，定时更新索引快照，循环更新等。但大体上，现有的学习资源采集系统均采用这种简单的依靠SOAP通信协议的集中式的采集模式。传统检索模型存在着以下一些缺点：1）入口地址单一。用户必须首先访问特定的搜索网站，然后才能开展检索。如果网站无法访问，或者用户网络状况不好，暂时无法连接网络，都无法完成操作；如果需要确保检索的范围足够大，用户需要反复登录多个相关网站进行逐一检索，费时费力。2）检索条件单一。由于用户仅仅是通过输入有限的几个关键词进行检索，要准22确描述自己所

7、需就有一定困难，特别是很多非专业人士，他们无法明确描述自己的需求，因此，这些检索往往得到并不是用户想要的资源。3）采集到的结果排序混乱。传统搜索系统只有一种结果排序方式，即根据关键词匹配程度对检索结果进行排序，但是这往往并不是用户希望看到的排序次序，用户希望能够得到多种排序结果的反馈，如，按资源的逻辑远近排序，按资源的热度排序等。4）结果不真实。大多数搜索网站特别是访问量超大的门户网站都采用快照方式每隔一定的时间间隔存储内容，因此往往检索只是在检索镜像或者快照并不是资源本身，实际上该资源已经不存在了。5）资源获取速度慢。由于这种检索模型

8、需要先一次性将检索结果全部查找出来再反馈给Web服务器端显示，如果匹配量大，则数据量会非常大，用户等待时间就是检索时间加上网络传输时间再加上更新页面时间，这样，对用户来说速度就会非常非常的慢。虽然有些算法采