基于广度优先算法的多线程网络爬虫毕业设计

基于广度优先算法的多线程网络爬虫毕业设计

ID:4340575

大小:1.21 MB

页数:69页

时间:2017-11-30

基于广度优先算法的多线程网络爬虫毕业设计_第1页
基于广度优先算法的多线程网络爬虫毕业设计_第2页
基于广度优先算法的多线程网络爬虫毕业设计_第3页
基于广度优先算法的多线程网络爬虫毕业设计_第4页
基于广度优先算法的多线程网络爬虫毕业设计_第5页
资源描述:

《基于广度优先算法的多线程网络爬虫毕业设计》由会员上传分享,免费在线阅读,更多相关内容在学术论文-天天文库

1、沈阳理工大学学士学位论文摘要目前即使通讯软件在平时的生活中有着十分广泛的应用,但是对绝大部分的软件来说,都必须应用在互联网上,必须在一个INTERNET环境下才能使用。有时候单位内部的员工,同学,在没有互联网环境下或因其他原因希望不用INTERNET就可以进行信息交互,这样开发局域网通信就有了必要性。本文提出了局域网信息交互的需求,并详细对网络协议TCP/IP协议族进行了介绍和研究,如TCP,UDP,广播等相关技术。并对网络信息交互原理惊醒了说明,在此基础上利用SOCKET网络编程实现了一种基于WINDOWS平台的局域网信息交互功能。网络爬虫是一种

2、自动搜集互联网信息的程序。通过网络爬虫不仅能够为搜索引擎采集网络信息,而且可以作为定向信息采集器,定向采集某些网站下的特定信息,如招聘信息,租房信息等。本文通过JAVA实现了一个基于广度优先算法的多线程爬虫程序。为何要使用多线程,以及如何实现多线程;系统实现过程中的数据存储;网页信息解析等。通过实现这一爬虫程序,可以搜集某一站点的URLs,并将搜集到的URLs存入数据库。将解析的网页存入XML文档。【关键词】网络爬虫;SOCKET编程;TCP/IP;网络编程;JAVAII沈阳理工大学学士学位论文AbstractInstantmessagesoftw

3、areinourdailyliveshasaverywiderangeofapplication,However,mostofthesoftwaremustbeusedintheInternet,anditmustbeusedinaInternetenvironment.SometimesInternalstaff,students,maynothavetheInternetenvironmentorotherreasonsdonotwishtobeabletocommunicateontheInternet.Thisdevelopmentwill

4、haveaneedforLANcommunicationprogram.Therefore,thispaperpresentstheneedsoflocalareanetworkexchangeinformationSoftware,AnddetailsofthenetworkprotocolTCP/IPprotocolsuiteareintroducedandresearchsuchasTCP,UDP,broadcast,andothertechnologies.andnetworkinformationexchangetheoryisdiscu

5、ssed.BaseonthisconditionIuseofSocketNetworkprogrammingbasedonWindowsplatformtodevelopaLANchatapplication.SPIDERisaprogramwhichcanautocollectinformationsfrominternet.SPIDERcancollectdataforsearchengines,alsocanbeaDirectionalinformationcollector,collectsspecificallyinformationsf

6、romsomewebsites,suchasHRinformations,houserentinformations.Inthispaper,useJAVAimplementsabreadth-firstalgorithmmulti-threadSPDIER.ThispaperexpatiatessomemajorproblemsofSPIDER:whytousemulti-threading,andhowtoimplementmulti-thread;datastructure;HTMLcodeparse.etc.ThisSPIDERcancol

7、lectURLsfromonewebsite,andstoreURLsintodatabase.【KEYWORD】SPIDER;JAVA;;Socketprogramming;TCP/IP;NetworkprogrammingII沈阳理工大学学士学位论文目录1绪论11.1网络爬虫的发展11.2国内外技术发展现状21.3系统设计的意义32总体设计方案42.1系统设计方案42.2系统设计框图42.3网络爬虫的相关技术52.3.1URL52.3.2HTTP协议62.3.3JAVA多线程92.3.4JAVA网络编程163系统软件设计213.1系统软件概述2

8、13.2Eclipse软件介绍213.3服务器端设计223.3.1网本页解析部分223.3.2获取新的网络代理部分363.

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。