爬虫程序开发指南(java)

《爬虫程序开发指南(java)》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、sosoospider开发指南                                           Sosoo 1.0网络爬虫程序---用户开发手册编写人：王建华（rimen/jerry）编写目的：基于sosoo定制web spider程序的编程人员。                             目录        一：安装sosoo. 2二：功能定制... 21．基本功能参数的设置。... 22．配置机器人对url的检查... 33：实现文件管理。... 44．定制html文档下载规则。... 45．

2、设置对下载后http文档的过滤处理... 56．启用机器人运行期监控。... 57．启用对http协议分析的监控。... 5三：sosoo描述... 6四：应用开发指南... 61．Roboter类，spider程序的主类。... 62．TaskList接口，解决对处理任务的存储。... 73．Http客户端实现。... 74．实现网页存储或处理... 75．实现运行期的监控... 8五．程序例子... 9六．参考依赖... 10                 一：安装sosoososoo提供的是一个sosoo-core.jar

3、包，其中并没有提供可运行的程序入口。如果要使用可以通过test中的examples进行体验。开发者可以基于在这上开发出基于UI,j2ee等spider程序       把sosoo-core包加入到你应用的classpath中。       Sosoo 提供一个基于多线程的来代表一个机器人com.sosoo.robot.spider. Roboter。       通过一个测试类      public static void main(String[] args)     throws Exception      {    R

4、oboter robby = new Roboter();robby.setStartURL(new URL("http://10.25.101.173:7001/pa18Web/framework/images/framevork_04.gif"));    robby.setMaxDepth(0);                //设置最大连接访问深度    robby.setSleepTime(0);robby.setWalkToOtherHosts(true);robby.run();                  

5、             //启动}       这样就启动了一个spider程序,sosoo将根据你对javaBean参数的设置进行对网络上html的抓取.       停止机器人.robot.stopRobot();  二：功能定制Sosoo利用回调的方式实现了aop，用户可以通过进行功能Bean的实现加入程序在处理http连接时的动作。1．基本功能参数的设置。就像上面例子上提到的roboter的原生类型参数（或String），例如：startURL，maxDepth等。 设置开始处理的url【startURL】：必须参数，r

6、oboter会根据这个地址开始在网络上进行查找。robby.setStartURL(URL url)； 设置从开始路径能找的最大深度【maxDepth】：程序会判断当前处理的连接深度是否超过最大连接深度，如果超过这个连接将忽略，当然你可以通过设置depthIsEffect来屏蔽这个功能。默认值为1。robby.setMaxDepth(0); 设置处理文档的时间间隔【sleepTime】：当处理完一个url时，设置这个间隔时间处理下一个url。单位为s，默认值为60，推荐使用5s。robby.setSleepTime(0);    

7、                           设置http连接超时时间：在连接服务器时，可能由于网络或者本身服务的原因，可能会出现超时的情况，通过设置超时时间来限制对某个url连接的最大时间，这样就可以达到提供处理的速度，但是如果这个值设置太小，可能很多连接都回连接不到，建议使用大于30的值，默认为60s。robby.setUrlConnectTimeOut(30); 停止robby线程【stopIt】：你可以通过对robby对象进行操作来停止当前的线程。robby.stopRobot(); 暂停robby线程【sleep

8、】：可以对当前运行的robby线程进行暂停。robby.setSleep(true);2．配置机器人对url的检查              sosoo spider会根据用户的设置对在收集url过程中过滤掉不符合条件的url。