基于内容和链接的主题爬虫的研究与实现

《基于内容和链接的主题爬虫的研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、。分类号ＴＰ３９ｉＪ单位代码：１０４２２：密级：２０１３Ｕ８９０：学号ＳＨＡＮＤＯＮＧＵＮＩＶＥＲＳＩＴＹ硕±学位论文ＴｈｅｓｉｓｆｏｒＭａｓｔｅｒＤｅｇｒｅｅ论文题目：基子巧容辩链接砍主醒祕咸前硏究与实现＂＇ＲｅｓｅａｒｃｈａｎｄＲｅａｌｉｚａｔｉｏｎ〇？ＴｏｐｉｃａｌＣｒａｎＪｖｒＣｉ？ｓｅｄｏｎＣｏｈｊｅｎｔＨｙｐｅｒｉｉｉｉｋ作者姓名王巧狂培养单位信息科学与王撞学院专业名称矣威苗茲工程指导教师苔Ｋ又较巧合作导师年４月巧日分类号：Ｔ却单位代码：１０

2、４２２ｆ密级，。；学号：从却巧硕±学位论文ＴｈｅｓｉｓｆｏｒＭａｓｔｅｒＤｅｒｅｅｇ论文题目：也巧和輪去诚似ｉ：ｉ化￣ＣＸａａ＊＾Ｔ＜￣（５０＊＾０ｔｘｕＵｃｔ＞Ｃ０ＶＳ４ｊ〇Ａ＾．．ｃｕａｓ、瓜（如作者姓名心培养单位１ＵＩ￣巧＾；ｔ＾如受衣）专业名称斬被１私指导教师常Ｍ合作导师年＞Ｖ月７曰原创性声明本人郑重声明：所呈交的学位论文，是本人在导师的指导下，独立进行研究所取得的成果。除文中已经注明引用的内容外，本论文不包含任何其他个人或集体己经发表或撰写过的

3、科研成果。对本文的研。究作出重要贡献的个人和集体，均己在文中Ｗ明确方式标明本声明的法律责任由本人承担。论文作者签名：少日期：关于学位论文使用授权的声明本人完全了解山东大学有关保留、使用学位论文的规定，同意学校保留或向国家有关部口或机构送交论文的复印件和电子版，允许论文被查阅和借阅；本人授权山东大学可Ｗ将本学位论文的全部或部分内容编入有关数据库进行检索，可レッ采用影印、缩印或其他复制手段保存论文和汇编本学位论文。（保密论文在解密后应遵守此规定）论文作者签名：：导师签名Ｈ期：瓜少次山东大学硕±学位论文

4、目泉摘要ＩＡＢＳＴＲＡＣＴＩｌｌ第一章绪ｉｆｅ１１．１研究背景１１．２研究现状２１．３研究内容及论文组织结构３第二章Ｎ络爬虫研究概述６２．１搜索引擎６２丄１通用搜索引擎６２丄２垂直搜索引擎８２．２通用爬虫９２．２．１通用爬虫的工作原理及结构９２．２．２通用爬虫的爬行策略１０２．３主题爬虫１１１２．３．１主题爬虫的工作原理及结构１２．３．２主题爬虫的爬行策略１２２．４本章小结１２第兰章主题爬虫关键技术研究１３３．１网页文本信息处理

5、１３３丄１网页规范化１３３丄２网页信息抽取１３３丄３中文分词１４３．２主题相关性计算１５３１．２．布尔模型１５３．２．２向量空间模型１６３．３关键词提取１７Ｉ山东大学硕±学位论文３．３．１基于ＰＡＴ树的关键词提取方法１７－３ＴＦＩ７．３．２基于ＤＦ的关键词提取方法１３１．３．３基于朴素贝叶斯的关键词提取方法８１３９．４Ｗｅｂ链接结构特性３．４．１ＰａｇｅＲａｎｋ算法１９３．４．２ＨＩＴＳ算法２１３．５本章小结２２第四章基于内容和链接的主

6、题爬虫的系统设计与实现２３４１２３．整体方案思想概述４．２模型构建模块２４４．２１模型属性的选取２５．４２６．２．２文本预处理４．２．３基于条件互信息下的属性聚类２７４．３网页解析模块巧４．４主题策略模块和ＵＲＬｓ调度模块３１４３２．４．１主题策略模块４．４．２ＵＲＬｓ调度模块３３４３３．５性能优势分析４．６本章小结３４第五章实验研究与结果分析３５５３５．１实验环境与数据准备１５丄实验开发环境３５５丄２数据准备３５５３６．２实验评价指标５．２．

7、１提取关键词指标３６５３６．２．２主题爬虫性能指标５．３实验方案及结果分析３７５３７．３．１改进的朴素贝叶斯算法山东大学硕ｊ：学位论文５．３．２主题爬虫３８１５．４本章小结４第六章总结与展望４２６．１论文内容总结４２６．２研究展望４３参考文献４５致谢４９攻读硕±期间的研究成果５０ｉｎ山东大学硕＋学位论文ＣＯＮＴＥＮＴＳＣｈｉｎｅｓｅＡｂｓｔｒａｃｔＩＡＢＳＴＲＡＣＴＩｌｌＣｈａｐｔｅｒ１Ｉｎｔｒｏｄｕｃｔｉｏｎ１ＭＲｅｓｅａ

8、ｒｃｈＢａｃｋｇｒｏｕｎｄ１１．２ＲｅｓｅａｒｃｈＳｔａｔｕｓ２１．３民ｅｓｅａｒｃｈＣｏｎｔｅｎｔｓａｎｄＤ