【硕士论文】可定制的垂直搜索引擎研究与实现.pdf

《【硕士论文】可定制的垂直搜索引擎研究与实现.pdf》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、摘要由于Web海量信息处于不断的变化中，通用搜索引擎已经很难再为用户提供一个高质量的、全面并且更新及时的信息搜索服务。通用搜索引擎试图索引全部Web信息并服务于所有领域的查询请求。相比之下，垂直搜索引擎只覆盖与特定领域主题关键词相关的Web区域，这样搜索的内容可以更深，搜索的周期可以更短。由于Web分类众多，领域又广，用户希望能对所提供的服务定制。可定制的垂直搜索引擎应该从人的角度去设计，让用户选择自己感兴趣的领域服务，这样会吸引更多的用户。因此，能满足用户对快速、准确、方便的获取信息资源的要求。目前，垂直搜索引擎正成为计算机科学界和信息产业界争相研究、开发

2、的对象，可定制的垂直搜索引擎更具挑战性和吸引力。本文首先简要介绍了搜索引擎的发展现状，分析了存在的优缺点，然后通过对当前通用搜索引擎技术的学习和研究，结合可定制的垂直搜索引擎的特点，设计出了可定制的垂直搜索引擎的总体架构及核心模块：网页抓取模块、分词储存索引模块和网页检索模块、可定制模块。然后本文分章节详细分析、设计和实现了这四个模块。它们构成了本文的核心部分。通过对垂直搜索引擎的Web信息抓取模块的设计和实现，完成了基本的网页抓取工作；本文采用了海量智能分词研究版(免费)来分词，结合Lueene实现了文档的存储与索引；在网页检索模块中，本文采用BFU排序算

3、法来对网页进行排序，最后本文给出了函数的具体形式及收敛性证明；通过对各大垂直搜索引擎的亲身体验和仔细研究，分析出存在的不足及改善方法，于是本文设计了可定制的实现流程图及功能定制。本文最后的总结讨论了这些技术及其将来还需进一步研究的内容。关键词：垂直搜索；网络蜘蛛；BFU排序；可定制分类号：TPl81ABSTRACTWiththeconstantlychangingofWebinformation，itisbecomingmoreandmoredifficultforasearchenginetoprovideahigh-quality，comprehensi

4、veandtimelyupdatedinformationsearchingservicetouser．ThebasiclimitationisthatitattemptstoindexalltheWebinformationandservicestoallfieldsinquiriesrequest．Incontrast，theverticalsearchenginecoversfieldsrelatedWebinformation，SOthatitsonlyspecificcontentCanbedeeperanditsupdatingcyclecall

5、beshorter．FormanyWebCategoriesandmanyWebfields，theconceptofcan—be-eustomizablecomesout，andthecustomizableverticalsearchengineshouldbepeople-centered，inorderthatmoreandmorepeoplecomehere．Asresultofthatitcarlmeettherequirementsoffastandaccurateaccesstoinformationresources．Atpresent，v

6、erticalsearchengineisbecomingahotresearchanddevelopmentobjectofcomputerscienceandinformationindustry,andaCustomizableVerticalSearchEngineismorechallengingandattractive．Firstly，thispaperdescribesthepresentstatusofthesearchenginedevelopment，andanalysestheadvantagesanddisadvantagesoft

7、heexistingsearchenginebfieflyAndthenthisPaperdesignseachmoduleandtheoverallarchitectureoftheeustomizableverticalsearchenginebystudyingongeneralsearchenginetechnologies，andbycombiningthecharacteristicsofthisengine．Andthenthispaperorganizesseveralchapterstodescribetheanalysis，designa

8、tionandimplementationpartl