网络爬虫_实验手册

《网络爬虫_实验手册》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、网络爬虫1.实验目标1.熟悉网络爬虫的相关概念及实现网络爬虫的相关流程。2.了解WebCollector框架的基木原理。3.熟练掌握在Eclipse项目中配置使用WebCollector爬虫。2.前提条件1.正确安装和配置Java开发环境。2.了解网络爬虫的相关知识3.进入WebCollector官方网站下载所需jar包。3.实验任务及完成标准本次实验通过WebCollector框架实现一个简单的聚焦网络爬虫。用户可根据ti己的需求定制网络爬虫，设定待爬取的网址、爬取网页的数量、爬取网页的内容等。通

2、过对•该实例的详细介绍来探讨网络爬虫的原理及在实际生活中的应用。在此实例的慕础上，学生需要独立完成更为复杂的聚焦网络爬虫，來爬取更冇意义的内容。具体要求见“4扩展内容”。3.1建立应用程序项目打开eclipse,创建本次实验项目htmICrawler([File]->[New]->[JavaProject])如图1所示。htmlCrawlerkJ/CreateaJavaProjectCreateaJavaprojectintheworkspaceorinanexternallocation.FT]U

3、sedefaultlocationLocation:D:demo-JavaSEhtmlCrawlerBrowse...JRE0UseanexecutionenvironmentJRE:UseaprojectspecificJRE:UsedefaultJRE(currently'jdkl・8・0_66JFinishCancel图1创建工程3.2在Eclipse项目中配置使用WebCollector爬虫1选中htmICrawler右键，选中【New]->[Folder],输入文件

4、名称“lib”，如下图2所示。FolderCreateanewfolderresource・Enterorselecttheparentfolder:htmICrawler厶Ll*-1htmICrawler.settings3bin&src£>RemoteSystemsTempFiles[>出ServeletDemot>Serverst>出testDemoFoldernamelib

5、Advanced>>FinishCancel图2创建文件夹2解压缩webcollector-2.26-bin.zip,

6、拷贝所有的Jar包,放到lib目录中,如图3所示。JBhtmICrawler&src>*JRESystemLibrary[JavaSE-1.8]，亘lib—hamcrest-core-1.3Jarje-5.0.73.jar匚json-20140107.jar1jsoup-1.8.3jar「junit-4.11.jarjuniversalchardet-1.0.3jarPlIog4j-1.2.17jar―slf4j-api-1.7.9jarjslf4j-log4j!2-1.7.9.jar‘.WebCo

7、llector-2.26jar图3冃录结构图3将文件夹lib屮的所方•jar包添加到buildpath屮，如图4、图5、图6所示。FileEditSourceRefactorNavigateSearchProjectRunWindowHelpr3▼New禮PackageEI_-—Inserttitle...&my(pic(&zhikt>t>0demol▲htmICr&srct>AJRE▲eiibItypefiltertextOpeninNewWindowOpenTypeHierarchyShowIn

8、F4Alt+Shift+W►CopyCtrl+CCopyQualifiedNamePasteCtrl+VDeleteDeleteRemovefromContextCtrl+Alt+Shift+Down►SourceAlt+Shift+S►RefactorAlt+Shift+T►Import...Export..RefreshF5CloseProjectCloseUnrelatedProjectsAssignWorkingSets...GoIntogeneratedconstructorstublet

9、#doGet(HttpServletRequestloGet(HttpServletRequestreque卜generatedmethodstubHeader("refresh",993U);ContentType(11image/jpeg°);♦ELinkSource...NewSourceFolder...UseasSourceFolderAddExternalArchives...AddLibraries...迅IContigureBuildPath…Decl