网络爬虫技术探究 本科毕设论文.doc

《网络爬虫技术探究 本科毕设论文.doc》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、JIUJIANGUNIVERSITY毕业论文题目网络爬虫技术探究英文题目WebSpidersTechnologyExplore院系信息科学与技术学院专业计算机科学与技术姓名闻泽班级学号A081129指导教师邱兴兴二○一二年五月信息科学与技术学院学士学位论文摘要网络爬虫是一种自动搜集互联网信息的程序。通过网络爬虫不仅能够为搜索引擎采集网络信息，而且可以作为定向信息采集器，定向采集某些网站下的特定信息，如招聘信息，租房信息，以及网络营销常要的邮箱地址信息等。本文通过JAVA实现了一个基于广度优先算法的爬虫程序。本论文阐述了网络爬虫实现中一些主要问题：为何使用广度优先的爬行策略，以及如何

2、实现广度优先爬行；系统实现过程中的数据存储；网页信息解析等。通过实现这一爬虫程序，可以搜集某一站点的所有URLs，并通过得到的URLs采集到页面的内容，在从内容中提取到需要的内容，如邮箱地址以及页面标题等。再将得到的URLs等采集到的数据存到数据库，以便检索。本文从搜索引擎的应用出发，探讨了网络爬虫在搜索引擎中的作用和地位，提出了网络爬虫的功能和设计要求。在对网络爬虫系统结构和工作原理所作分析的基础上，研究了页面爬取、解析等策略和算法，并使用Java实现了一个网络爬虫的程序，对其运行结果做了分析。关键词：网络爬虫，广度优先，搜索引擎IV信息科学与技术学院学士学位论文Abstract

3、TheWebSpiderisanautomatedprogramcollectsinformationontheInternet.TheWebSpidercannotonlysearchenginetocollectnetworkinformationandcanbeusedasdirectionalinformationcollection,directedacquisitionofsomesitespecificinformation,suchasrecruitmentinformation,rentalinformation,aswellasnetworkmarketingo

4、ftenhavetoe-mailaddressinformation.JAVAImplementationofanalgorithmbasedonbreadthfirstSpiderprogram.ThispaperdescribedthedatastoredintheWebSpidertoachievesomeofthemajorquestions:Whyuseabreadth-firstcrawlingstrategy,aswellashowtoimplementthebreadth-firstcrawling;systemimplementationprocess;webpa

5、geinformationtoresolve.ThroughtherealizationofthisSpidercancollectallofasite'sURLs,URLscollectedbyandgettothepagecontent,toextractfromthecontent,thecontent,suchasemailaddressandpagetitle.AndthengettheUrlscollectedwasdatasavedtothedatabasetoretrieve.Inthispaper,theapplicationofthesearchengineto

6、exploretheroleandstatusofaWebSpidersearchengine,webSpiderfunctionalityanddesignrequirements.WebSpidersystemstructureandworkingprincipleoftheanalysisbasedonstudystrategiesandalgorithmsofthepagecrawling,parsing,etc.andusetheJavaimplementationofaWebSpiderprogram,itsoperatingresultsanalysis.Keywor

7、ds:Spider,BreadthFirstSearch,SearchEngineIV信息科学与技术学院学士学位论文目录摘要IAbstractII1绪论1.1现状分析(1)1.2系统开发背景(2)1.3系统意义(3)1.4论文主要的工作(4)1.5论文结构(4)2需求分析2.1系统非功能性需求(5)2.2系统功能需求(5)2.3系统数据流程分析(5)2.4环境需求(8)2.5本章小结(9)3系统设计3.1系统结构设计(10)3.2爬行策略分析(12)3.3爬虫技术分析