垂直搜索引擎中主题网络爬虫算法的设计与研究

《垂直搜索引擎中主题网络爬虫算法的设计与研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、广东工业大学硕±学位论文（工程硕±）■＇Ｖ－■．讀＇记＇的．．．．．一‘、－－，Ｖｇ，Ｖ．垂直搜索引擎中主题网络爬虫算法的设计与研究＇■…一■、；．罗路天■押一－括如约，．■．？六－－ｒ户？．．／＞，ｉ／．，＾。■＇一一．－：Ｖ诲：、．龄、？＞．．．，．声巧，＼Ｙ：為ｖ：二Ｖ．術；ｖ，．灣＇凑＂＇人Ａ猎謂‘爲解：媒令一‘诚、方＇■．，、一换Ｈ诗户聲－：尹．苦‘．．々■／．心一－：－‘，、－．如＇．ｉｆ’，．，＼；

2、＼：Ｊ＾＇…Ｖ＿．．，一Ｖ．ｆ．ｘ．‘、■．？＼＞）？？■‘．＜、．＇－一、．■‘沪＂一－昨、１？＜，－＇．－、Ｖ占声、．。一Ｉｊ、／！夕．…二〇—六年五月－社ｊ－？？＇？ｉ—片兴、—二—、、＇？＇．…—拉二。＞姑，＇—一．？－：Ｖ：．／儀，＇一‘‘。＾．＇、：＾－－．＇Ｖ：．；：飞Ｖ一＇ｒ—节＇—、．．Ｖ仪。Ｖ：ｒ一，棘＞Ｕ分类号；ＴＮ４学校代号：１１８４５１１ＵＤＣ学号：２１３０５０６４；密级；

3、广东工业大学硕击学位论文？（工程硕±）垂直搜索引擎中主题网络爬虫算法的设计与研究罗路天校内导师姓名：谢国波教授、职称校外导师姓名、职称：陈薪高级工程师学科专业或领域名称：计算机巧术（）学生所属学院：计算机挙院论文答辩日期二〇—六年五月：ＡＤｉｓｓｅｒｔａｔｉｏｎＳｕｂｍｉｔｔｅｄｔｏＧｕａｎｇｄｏｎｇＵｎｉｖｅｒｓｉｔｙｏｆＴｅｃｈｎｏｌｏｆｏｒｔｈｅＤｅｒｅｅｏｆＭａｓｔｅｒｇｙｇ（ＭａｓｔｅｒｏｆＥｎｇｉｎｅｅｒｉｎｇ）ＴｈｅＤｅｓｉｎａｎｄＲｅｓｅａｒ

4、ｃｈｏｆＴｏｉｃＷｅｂＣｒａｗｇｐｌｅｒｉｎＶｅｒｔｉｃａｌＳｅａｒｃｈＥｎｉｎｅｇＣａｎｄｉｄａｔｅ：ＬｕｏＬｕｔｉａｎＳｕｐｅｒｖｉｓｏｒ：Ｐｒｏｆ．ＸｉｅＧｕｏｂｏＭａｙ２０化ＳｃｈｏｏｌｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅａｎｄＴｅｃｈｎｏｌｏｇｙＧｕａｎｇｄｏｎｇＵｎｉｖｅｒｓｉｔｏｆｅｃｈｎｏｌｏｙＴｇｙＧｕａｎｇｚｈｏｕ，Ｇｕａｎｇｄｏｎｇ，Ｐ．Ｒ．Ｃｈｉｎａ，５１０００６摘要摘要随着互联网的快速发展，近几年，传统的通用搜索引擎已不能满足人们对于专业化

5、、个性化的信息需求，因此建立面向特定领域的垂直搜索引擎迫在眉睫。主题网络爬虫在主题捜索引擎中起着举足轻重的作用，它设汁的好坏直接影响着搜索引擎的服务质量。传统的主题网络爬虫主要通过分析网页的全部内容来分析候选ＵＲＬ，与主题的相关性但现今的网页包含的主题越来越多，这种分析方式可能会由于网页中存在噪音而影响候选ＵＲＬ与主题相关性的判定。近年来对主题爬虫的研究主要集中于两个方面：主题相关性判定和主题爬虫搜索策略。本文针对传统的主题网络一爬虫的不足提出基于种混合爬行的搜索策略。主要的研巧工作包括：（１）文章在研究主题爬虫相关技术的基础上，对

6、现有的研巧成果分别做了阐述，这为文章提出的新的爬虫策略奠定了理论基础。２Ｂ一（）把树的层次型结构应用到ｌｏｏｍ巧Ｉｔｅｒ去重过程，提出种基于传统助ｏｏｍＦ化ｅｒ的多层ＢｌｏｏｍＦｉｌｔｅｒ（ＭＬＢ巧对抓取的ＵＲＬ去重，每层ＢｌｏｏｍＦｉｌｔｅｒ由Ａ个独立的哈希函数和ｍ位位数组組成，将ＵＲＬ看成是由分割之后组成的集合，从而将ＵＲＬ的去重问题转换成判定树的路径问题。实验结果分析表明：改进后的多层ＢｌｏｏｍＦｉｔｅｒ。ｌ具有更小的误判率，提升了爬行效率（３）文章吸取了己有成果的研究精华，充分结合网页内容评价和网页链接评价两个维度提

7、出基于内容和链接评价的一种混合爬行策略。在内容评价策略上，构建Ｗ网页内容和错文本为输入的朴素贝叶斯分类器分析候选ＵＲＬ与主题的相关性，在链接评价策略上，采用高效的曲ＴＳ算法来获得Ａｕ也ｏｒｉｔｙ和Ｈｕｂ网页。将整个爬行策略的周期合理分为两步，提高了网页与主题的相关性。（４）在预测候选ＵＲＬ与主题相关度方面，采用典型的杜威十进制分类法和链接结构分析法等差异化的方法预测ＵＲＬ与主题的相关性，综合考虑了错文本、错文＂＂本附近的信息、反向网页、反向链接与主题的相关，避免了主题漂移现象。（５）对爬虫效果采用差准率和模拟査全率来进行评估，通过

8、比较本文提出的爬行策略和其他算法在