基于广度优先算法的多线程爬虫程序的设计与实现毕业论文

《基于广度优先算法的多线程爬虫程序的设计与实现毕业论文》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、摘要网络爬虫是一种自动搜集互联网信息的程序。通过网络爬虫不仅能够为搜索引擎采集网络信息，而且可以作为定向信息采集器，定向采集某些网站下的特定信息，如招聘信息，租房信息等。本文通过JAVA实现了一个基于广度优先算法的多线程爬虫程序。本论文阐述了网络爬虫实现中一些主要问题：为何使用广度优先的爬行策略，以及如何实现广度优先爬行；为何要使用多线程，以及如何实现多线程；系统实现过程中的数据存储；网页信息解析等。通过实现这一爬虫程序，可以搜集某一站点的URLs，并将搜集到的URLs存入数据库。【关键字】网络爬虫

2、；JAVA；广度优先；多线程。ABSTRACTSPIDERisaprogramwhichcanautocollectinformationsfrominternet.SPIDERcancollectdataforsearchengines,alsocanbeaDirectionalinformationcollector,collectsspecificallyinformationsfromsomewebsites,suchasHRinformations,houserentinformation

3、s.Inthispaper,useJAVAimplementsabreadth-firstalgorithmmulti-threadSPDIER.ThispaperexpatiatessomemajorproblemsofSPIDER:whytousebreadth-firstcrawlingstrategy,andhowtoimplementbreadth-firstcrawling;whytousemulti-threading,andhowtoimplementmulti-thread;dat

4、astructure;HTMLcodeparse.etc.ThisSPIDERcancollectURLsfromonewebsite,andstoreURLsintodatabase.【KEYWORD】SPIDER;JAVA;BreadthFirstSearch;multi-threads.目录第一章引言1第二章相关技术介绍22.1JAVA线程22.1.1线程概述22.1.2JAVA线程模型22.1.3创建线程32.1.4JAVA中的线程的生命周期42.1.5JAVA线程的结束方式42.1.6多线

5、程同步52.2URL消重52.2.1URL消重的意义52.2.2网络爬虫URL去重储存库设计52.2.3LRU算法实现URL消重72.3URL类访问网络82.4　爬行策略浅析82.4.1宽度或深度优先搜索策略82.4.2聚焦搜索策略92.4.3基于内容评价的搜索策略92.4.4基于链接结构评价的搜索策略102.4.5基于巩固学习的聚焦搜索112.4.6基于语境图的聚焦搜索11第三章系统需求分析及模块设计133.1系统需求分析133.2SPIDER体系结构133.3各主要功能模块（类）设计143.4S

6、PIDER工作过程14第四章系统分析与设计164.1SPIDER构造分析164.2爬行策略分析174.3URL抽取，解析和保存184.3.1URL抽取184.3.2URL解析194.3.3URL保存19第五章系统实现215.1实现工具215.2爬虫工作215.3URL解析225.4URL队列管理245.4.1URL消重处理245.4.2URL等待队列维护265.4.3数据库设计27第六章系统测试29第七章结论32参考文献33致谢34外文资料原文35译文51第一章引言随着互联网的飞速发展，网络上的信息

7、呈爆炸式增长。这使得人们在网上找到所需的信息越来越困难，这种情况下搜索引擎应运而生。搜索引擎搜集互联网上数以亿计的网页，并为每个词建立索引。在建立搜索引擎的过程中，搜集网页是非常重要的一个环节。爬虫程序就是用来搜集网页的程序。以何种策略偏历互联网上的网页，也成了爬虫程序主要的研究方向。现在比较流行的搜索引擎，比如google，百度，它们爬虫程序的技术内幕一般都不公开。目前几种比较常用的爬虫实现策略：广度优先的爬虫程序，Repetitive爬虫程序，定义爬行爬虫程序，深层次爬行爬虫程序。此外,还有根据

8、概率论进行可用Web页的数量估算,用于评估互联网Web规模的抽样爬虫程序;采用爬行深度、页面导入链接量分析等方法,限制从程序下载不相关的Web页的选择性爬行程序等等。爬虫程序是一个自动获取网页的程序。它为搜索引擎从互联网上下载网页，是搜索引擎的重要组成部分。爬虫程序的实现策略，运行效率直接影响搜索引擎的搜索结果。不同的搜索引擎，会根据对搜索结果的不同需求，选择最合适的爬行策略来搜集互联网上的信息。高效，优秀的爬虫程序可以使人们在互联网上寻找到更及时，更准确的信息。实现