正文描述:《基于web的全文搜索引擎的设计与实现》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库。
1、第31卷第20期计算机工程2005年10月Vol.31№20ComputerEngineeringOctober2005·基金项目论文·文章编号:1000—3428(2005)20—0051—03文献标识码:A中图分类号:TP391基于Web的全文搜索引擎的设计与实现1211陈康,许婷,戴文俊,武港山(1.南京大学计算机科学与技术系,南京2100931;2.南京大学计算机软件新技术国家重点实验室,南京210093)摘要:介绍了一个基于Web的全文搜索引擎的设计及其实现,并对该搜索引擎的基本框架设计和主要功能模块的实现作了详细介绍,最后给出
2、了相应的试验结果。关键词:搜索引擎;信息检索;信息获取DesignandImplementationofWeb-basedFull-textSearchEngine1211CHENKang,XUTing,DAIWenjun,WUGangshan(1.DepartmentofComputerScience&Technology,NanjingUniversity,Nanjing2100931;2.StateKeyLaboratoryforNovelSoftwareTechnology,NanjingUniversity,Nanjing210
3、093)【Abstract】ThispaperintroducesthedesignandimplementationofaWeb-basedfull-textsearchengine.Itgivesthedesignofthesystem’sframeworkandtheimplementationoffunctionmodulesindetail,andintheend,itgivesthetestresultofthesystem.【Keywords】Searchengine;Informationsearching;Informa
4、tionretrieving随着互联网的快速发展,越来越丰富的信息呈现在用户到正文库中。第3部分是检索服务部分,它提供了信息检索面前,但同时伴随的问题是用户越来越难以获得其最需要的和检索结果展现的功能,同时也还可以对检索参数进行设置。信息。为了解决此问题,出现了网络搜索引擎。网络搜索引第4部分是系统管理部分,主要提供了一些有关系统运行参擎中以基于WWW的搜索引擎应用范围最为广泛。网络搜索数的设置,用户管理等功能,是本搜索引擎系统的一个辅助引擎是指对WWW站点资源和其它资源进行索引和检索的一部分。最后一个部分是库文件部分,系统有多个库,其中
5、包类检索机制。它一般由数据采集(搜索Crawler)、文档组织括索引库、正文库、元数据库,还包括其它一些辅助库,后和索引、查询服务3个服务模块组成,如图1所示。面会对其中的部分库的组织作详细的介绍。1.2功能模块设计预处理部分:文档处理部分:系统管理部分:检索服务部分:从功能上来讲,本系统由多个模块组成。首先,预处理文档索引管理运行参数检索设置Web页面下载部分主要由两个功能模块组成:Web页面下载模块和文档格文档正文管理用户管理查询处理式转换格式两个模块。文档处理部分由两个模块组成:文档文档格式转换元数据管理其它管理结果展现索引模块和文
6、档元数据管理模块,其中文档的正文管理功能包含在文档元数据管理模块中。系统管理部分包括用户管理模块、运行参数管理模块等多个功能模块。检索服务部分主库文件要由查询处理模块和结果展现模块组成。Web索引库正文库元数据库其它库2主要功能模块的实现图1系统总体框架图2.1Web页面下载模块搜索引擎中各模块的主要功能如下:Web页面下载模块相当于搜索引擎中的网络Crawler。它(1)搜索Crawler:用于WWW的遍历和网页的下载。的主要功能是从网络上收集需要处理的各种信息并做一些预(2)文档的索引和组织:对Crawler收集到的网页和相关的描述处
7、理,然后将这些信息提交给其他的功能模块。信息经索引组织后存储在索引库中。它的基本算法是由一组种子URL开始,重复以下过程:(3)查询服务:负责接受用户查询和进行数据库检索,并将结果从种子URL集中取得一个URL,确定相应主机的IP地址,集按相关度返回给用户。下载相应的文档,对于非重复的文档提取出包含在其中的链1系统总体设计接,对于提取出来的链接,如果是相对链接,就将其转化为1.1系统框架绝对链接。然后对链接按一定策略进行过滤,通常包括检验该搜索引擎系统的总体框架见图1。从结构上来看,该该链接是否进行过下载以及对链接是否需要进行下载,如果系
8、统由5个部分构成,第1部分的是预处理部分,它的主要功能是进行Web页面的下载,并对下载下来的文档进行文档基金项目:国家自然科学基金资助项目(60073030);国家“863”计格式转换,提取出
显示全部收起
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。