基于查询扩展的主题爬虫研究

《基于查询扩展的主题爬虫研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要随着信息多元化的增长，通用搜索引擎已经不能满足人们对个性化信息检索服务日益增长的需要，用户对信息的需求更多的是针对受限领域和面向特定主题的。应对这种需求，需要分类精确、数据全面、更新及时的面向主题的搜索，主题爬虫就是主题搜索引擎的基础与核心。其基本思想是在爬行过程中按预先定义好的主题有选择的收集相关网页，即先确定搜索范围，再找到最相关的链接，避免下载不相关的网页。因而如何为领域、主题相关性的判定制定准确的规则；如何利用丰富的上下文，理解用户的输入语义，并能返回准确的信息，成为主题爬虫系统的研究重点。本文的研究内容主要包括：首先，在分析现有主题爬虫搜索策略的优缺点的

2、基础上，改进了主题爬虫系统的框架，并给出工作原理。然后，建立基于词语共现的查询扩展算法，设计具有语义理解能力的主题爬虫。接下来，改进现有的PageRank算法，将主题相关度的分析与排序算法结合起来，提出了主题敏感的FDC—PageRank算法计算网页优先级，实现从语义上分析的综合排序方法，提高主题爬虫爬行的精度。最后，设计实现了实验原型系统FTSCrawler，通过在互联网上进行实验，检验了FTSCrawler的运行效果，并由此验证了本文所提出的基于词语共现的主题算法和主题敏感的FDC．PageRank算法的有效性。关键词主题爬虫；共现词；查询扩展；FDC_Topic

3、SensitivePageRank算法Abs仃actI_AbstractWiththeincrementofinformationontheweb，generalsearchenginecannotsatisfythedesireofpersonalinformationretrieval．Recently,thelimitedareaandspecialtopicaremoreconcemedbyusers．TheapplicationofthefocusedsearchenginetechnologyCallsolvethisproblemcommendably．

4、FocusedSearchEngineisspecializedsearchengine．Itonlyfacesonefieldoronetopic．ComparingwithCommonSearchEngine，FocusedSearchEnginehasthemeritofcollectiondomaininformationexactly,covetingthefieldareabetter．ThecoreoftheFocusedSearchEngineisthecrawler．Themainideaiscollectwebpagesonapredefinedt

5、opicselectivelyandavoidtodownloadingirrelativewebpagesinordertofindmoreaccurateandusefulinformationfortheuser．Theyarethekeystonesofthetopiccrawlersystemtomaketherightrulewhichjudgestherelation，tousetheenvironment，andtounderstandtheusersemanticmeaning．Themainworkofthedissertationisjustli

6、kefollows：Firstly,studythecrawlersearchalgorithm，improvetheframeoftopiccrawlersystemandsummarizedthetheoryofitswork．Secondly,designaqueryexpansionmodelwhichutilizedtheCO‘occurrenceinformationandtopiccrawlerwhichhavesemanticupstandingability．Thirdly,topicsensitiveFDC—PageRanktopredictthe

7、priorityofwebpageisdesignedandimplemented．Last，thedesignandimplementFTSCrawler,theexperimentsshowoursystemperformwell．KeywordsTopiccrawler；Co—occurrencewords；FDC_TopicSencitivePageRank；QueryexpansionⅡI独创性声明本人声明所呈交的论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人已经发表