爬虫程序开发指南(java)

爬虫程序开发指南(java)

ID:7783402

大小:62.00 KB

页数:16页

时间:2018-02-25

爬虫程序开发指南(java)_第1页
爬虫程序开发指南(java)_第2页
爬虫程序开发指南(java)_第3页
爬虫程序开发指南(java)_第4页
爬虫程序开发指南(java)_第5页
资源描述:

《爬虫程序开发指南(java)》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库

1、sosoospider开发指南                                           Sosoo 1.0网络爬虫程序---用户开发手册编写人:王建华(rimen/jerry)编写目的:基于sosoo定制web spider程序的编程人员。                             目录        一:安装sosoo. 2二:功能定制... 21.基本功能参数的设置。... 22.配置机器人对url的检查... 33:实现文件管理。... 44.定制html文档下载规则。... 45.

2、设置对下载后http文档的过滤处理... 56.启用机器人运行期监控。... 57.启用对http协议分析的监控。... 5三:sosoo描述... 6四:应用开发指南... 61.Roboter类,spider程序的主类。... 62.TaskList接口,解决对处理任务的存储。... 73.Http客户端实现。... 74.实现网页存储或处理... 75.实现运行期的监控... 8五.程序例子... 9六.参考依赖... 10                 一:安装sosoososoo提供的是一个sosoo-core.jar

3、包,其中并没有提供可运行的程序入口。如果要使用可以通过test中的examples进行体验。开发者可以基于在这上开发出基于UI,j2ee等spider程序       把sosoo-core包加入到你应用的classpath中。       Sosoo 提供一个基于多线程的来代表一个机器人com.sosoo.robot.spider. Roboter。       通过一个测试类      public static void main(String[] args)     throws Exception      {    R

4、oboter robby = new Roboter();robby.setStartURL(new URL("http://10.25.101.173:7001/pa18Web/framework/images/framevork_04.gif"));    robby.setMaxDepth(0);                //设置最大连接访问深度    robby.setSleepTime(0);robby.setWalkToOtherHosts(true);robby.run();                  

5、             //启动}       这样就启动了一个spider程序,sosoo将根据你对javaBean参数的设置进行对网络上html的抓取.       停止机器人.robot.stopRobot();  二:功能定制Sosoo利用回调的方式实现了aop,用户可以通过进行功能Bean的实现加入程序在处理http连接时的动作。1.基本功能参数的设置。就像上面例子上提到的roboter的原生类型参数(或String),例如:startURL,maxDepth等。 设置开始处理的url【startURL】:必须参数,r

6、oboter会根据这个地址开始在网络上进行查找。robby.setStartURL(URL url); 设置从开始路径能找的最大深度【maxDepth】:程序会判断当前处理的连接深度是否超过最大连接深度,如果超过这个连接将忽略,当然你可以通过设置depthIsEffect来屏蔽这个功能。默认值为1。robby.setMaxDepth(0); 设置处理文档的时间间隔【sleepTime】:当处理完一个url时,设置这个间隔时间处理下一个url。单位为s,默认值为60,推荐使用5s。robby.setSleepTime(0);    

7、                           设置http连接超时时间:在连接服务器时,可能由于网络或者本身服务的原因,可能会出现超时的情况,通过设置超时时间来限制对某个url连接的最大时间,这样就可以达到提供处理的速度,但是如果这个值设置太小,可能很多连接都回连接不到,建议使用大于30的值,默认为60s。robby.setUrlConnectTimeOut(30); 停止robby线程【stopIt】:你可以通过对robby对象进行操作来停止当前的线程。robby.stopRobot(); 暂停robby线程【sleep

8、】:可以对当前运行的robby线程进行暂停。robby.setSleep(true);2.配置机器人对url的检查              sosoo spider会根据用户的设置对在收集url过程中过滤掉不符合条件的url。          

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。