搜索引擎中主题爬虫的研究与实现

《搜索引擎中主题爬虫的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、南京理工大学硕士学位论文搜索引擎中主题爬虫的研究与实现姓名：刘玮玮申请学位级别：硕士专业：计算机应用技术指导教师：孙亚民20060601硕十论文搜索引擎中主题恺虫的研究与实现摘要随着Intemet的迅速发展，网络信息增长的速度和人们获取所需信息能力之间的矛盾越来越突出。本文围绕主题搜索引擎这一社会研究的新热点技术，对主题搜索引擎中占有重要地位的主题爬虫给予研究和讨论。主题搜索引擎中的信息采集，即主题爬虫系统的搜索策略的研究，对于主题搜索引擎的应用与发展具有非常重要的作用。论文首先对主题搜索引擎的基本功能进行

2、了简单介绍，引出主题搜索引擎的重要组成部分——主题爬虫，并分析了主题爬虫的基本结构及工作原理。然后对网络爬虫的搜索策略进行了讨论，重点介绍了基于Web超链接结构和基于网页文本内容的启发式搜索策略，并对它们进行了比较。在计算文本内容相似度算法的讨论中引入了经典的基于向量空间模型的分类方法。设计并初步实现了一个主题爬epSoftSpider，介绍了该爬虫的结构以及相关设计细节。该爬虫的搜索算法是对Authoritiesandhubs算法的改进，采用了Web超链接分析和网页文本内容相结合的启发式搜索策略。最后对该

3、爬虫的性能进行了测试，同时给出了实验结果及分析。关键词：搜索引擎，主题爬虫，Authoritiesandhubs算法，Web超链分析。向量空间模型彤·I论史搜索B：擎中主题爬虫的酽究々实现AbstractWinltherapidgrowthoftheIntemel．theconflictbetweenthegrowthoftheWebinformationandtheabilityofpeopleachievingitisbecominghugerandhuger．Surroundingtheresearc

4、honthishotspot,theimportantpartofthetopic—specificsearchenginethatiscalledfocusedcrawlerisdiscussedinthispaper．nleresearchonthesearchingalgorithmisveryimportanttotheapplicationanddevelopmentoftopic—specificsearchengine．Firstly,thebasictheoryoftopic-specifi

5、csearchengineissimplyintroducedinthispaper．nlestatusoffocusedcrawlerintopic—specificsearchengineisbroughtforward．Theworktheoryofthefocusedcrawlerisanalyzed．Thenseveralkindsofsearchalgorithmsoffocusedcrawlerarediscussed，ThesearchalgorithmbasedonWebhyperlink

6、andtheonebasedonpagecontentaredetailed．Inthecourseoftherelativityjudgingbetweenthepagecontentandthetopic，themethodbasedonvectorspacemodelwhichiswidelyappliedinthefiledofthetextclassificationisused．Laslly．8-focusedcraftiercalledSoftSpiderisbroughtforwardand

7、designed．111iscrawlerusesthesearchalgorithmbothbasedonWebhyperlinkstructureandpagecontent，andimprovesonAuthoritiesandhubsalgorithm．Thedetailsofstructureanddesignareintroduced．TheperformanceofthiscrawleriStestedandtheresultispresented．KeyWords：SearchEngine，

8、Focusedcrawler，Authoritiesandhubs·WebHyperlinkAnalysis，VSM声鹱本学位论文怒我在譬师的指导下取褥的醭究成果，尽我熙知，在本学位论文中，除了加以栎注和致谢的部分外，不包含其他人已经发表或公布过的研究成果，也不包含我为获得任何教育机构的学位或学历而使用过的材料。与我一同工作的间事对本学位论文做豳的贡献均已在论文孛佟7鹱确麓说磷。研究生签名：-二警陋≯秭筇5月I舀