网络爬虫的设计与实现本科毕业论文

《网络爬虫的设计与实现本科毕业论文》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要摘要网络爬虫是一种自动搜集互联网信息的程序。通过网络爬虫不仅能够为搜索引擎采集网络信息，而且可以作为定向信息采集器，定向采集某些网站下的特定信息，如招聘信息，租房信息等。本文通过JAVA实现了一个基于广度优先算法的多线程爬虫程序。本论文阐述了网络爬虫实现中一些主要问题：为何使用广度优先的爬行策略，以及如何实现广度优先爬行；为何要使用多线程，以及如何实现多线程；系统实现过程中的数据存储；网页信息解析等。通过实现这一爬虫程序，可以搜集某一站点的URLs，并将搜集到的URLs存入数据库。【关键字】网络爬虫；JAVA；广度优先；多线程。Ⅰ摘要ABSTRACTSP

2、IDERisaprogramwhichcanautocollectinformationsfrominternet.SPIDERcancollectdataforsearchengines,alsocanbeaDirectionalinformationcollector,collectsspecificallyinformationsfromsomewebsites,suchasHRinformations,houserentinformations.Inthispaper,useJAVAimplementsabreadth-firstalgorithmm

3、ulti-threadSPDIER.ThispaperexpatiatessomemajorproblemsofSPIDER:whytousebreadth-firstcrawlingstrategy,andhowtoimplementbreadth-firstcrawling;whytousemulti-threading,andhowtoimplementmulti-thread;datastructure;HTMLcodeparse.etc.ThisSPIDERcancollectURLsfromonewebsite,andstoreURLsintod

4、atabase.【KEYWORD】SPIDER;JAVA;BreadthFirstSearch;multi-threads.Ⅰ毕业设计（论文）原创性声明和使用授权说明原创性声明本人郑重承诺：所呈交的毕业设计（论文），是我个人在指导教师的指导下进行的研究工作及取得的成果。尽我所知，除文中特别加以标注和致谢的地方外，不包含其他人或组织已经发表或公布过的研究成果，也不包含我为获得及其它教育机构的学位或学历而使用过的材料。对本研究提供过帮助和做出过贡献的个人或集体，均已在文中作了明确的说明并表示了谢意。作者签名：　　　　　日　期：　　　　　指

5、导教师签名：　　　　　日　　期：　　　　　使用授权说明本人完全了解大学关于收集、保存、使用毕业设计（论文）的规定，即：按照学校要求提交毕业设计（论文）的印刷本和电子版本；学校有权保存毕业设计（论文）的印刷本和电子版，并提供目录检索与阅览服务；学校可以采用影印、缩印、数字化或其它复制手段保存论文；在不以赢利为目的前提下，学校可以公布论文的部分或全部内容。作者签名：　　　　　日　期：　　　　　目录第一章引言1第二章相关技术介绍22.1JAVA线程22.1.1线程概述22.1.2JAVA线程模型22.1.3创建线程32.1.4JAVA中的线

6、程的生命周期42.1.5JAVA线程的结束方式42.1.6多线程同步52.2URL消重52.2.1URL消重的意义52.2.2网络爬虫URL去重储存库设计52.2.3LRU算法实现URL消重72.3URL类访问网络82.4　爬行策略浅析82.4.1宽度或深度优先搜索策略82.4.2聚焦搜索策略92.4.3基于内容评价的搜索策略92.4.4基于链接结构评价的搜索策略102.4.5基于巩固学习的聚焦搜索112.4.6基于语境图的聚焦搜索11第三章系统需求分析及模块设计133.1系统需求分析133.2SPIDER体系结构133.3各主要功能模块（类）设计143.4

7、SPIDER工作过程14第四章系统分析与设计164.1SPIDER构造分析164.2爬行策略分析174.3URL抽取，解析和保存184.3.1URL抽取184.3.2URL解析194.3.3URL保存19第五章系统实现215.1实现工具215.2爬虫工作215.3URL解析225.4URL队列管理245.4.1URL消重处理245.4.2URL等待队列维护265.4.3数据库设计27第六章系统测试29第七章结论32参考文献33致谢34外文资料原文35译文51第一章引言第一章引言随着互联网的飞速发展，网络上的信息呈爆炸式增长。这使得人们在网上找到所需的信息越来

8、越困难，这种情况下搜索引擎应运而生。搜索引擎搜集互联