火车头采集器初学者入门教程

火车头采集器初学者入门教程

ID:39525470

大小:1.95 MB

页数:45页

时间:2019-07-05

火车头采集器初学者入门教程_第1页
火车头采集器初学者入门教程_第2页
火车头采集器初学者入门教程_第3页
火车头采集器初学者入门教程_第4页
火车头采集器初学者入门教程_第5页
资源描述:

《火车头采集器初学者入门教程》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库

1、火车头采集器使用流程说明主讲人:刘崇秀QQ:2415290目录一、软件下载二、新建站点三、采集网址四、采集内容五、其他功能火车头采集器官网地址为:http://www.locoy.com最新版本为8.4,可以从官网下载到,下载地址:http://files.locoy.com/v8/LocoySpider_V8.4_Build20140618.rar如不会安装apache、mysql可以使用一键安装软件—XAMPP:http://big.softdl.360tpcdn.com/xampp/xampp_1.8.3_5.exe以下是本文中

2、提到的其他一些软件的下载地址:phpmyadmin http://softdl.360tpcdn.com/phpMyAdmin/phpMyAdmin_4.2.11.zip navicatformysql版http://www.cr173.com/soft/38153.html软件需要破解注册码:NAVH-WK6A-DMVK-DKW3名称和组织不用填写一、软件下载火车头采集器有付费版和免费版,免费版基本能满足需求。下面内容是以免费版功能进行的讲解。打开火车头软件出现如何界面,由于使用的是免费版本,不用修改,点击登录即可。运行火车头采集

3、器打开火车头软件,界面如下图:二、新建站点第一步:根据需要建立分组或任务,任务需要建立在分组之下(如下图)二、新建站点二、新建站点第二步:点击“新建站点”后出现如下界面。填写任务名称点击起始网址区域右侧“添加”按钮后,根据需求选择添加采集网址模式,这里我们先选择“批量/多页”为例:三、采集网址三、采集网址以抓取慧聪业界动态http://info.it.hc360.com/list/zx_yjdt.shtml为例:通过观察页脚网址参数变化,可以看到下方网址中标红部分数字随着页数大小发生了变动,随意复制其中一个网址,例如下方网址http:

4、//info.it.hc360.com/list/zx_yjdt-2.shtml三、采集网址--批量/多页在地址格式中输入刚才复制的网址,框选中变动的数字,点击右侧的(*)符号会自动输入页码变动符号。由于该网址采用数字等差数列,在“等差数列”右侧首项输入想要采集的起始ID页数,“项数”右侧输入一共要采集的数量,一般为最后页码数。查看下方预览区域中网址是否正确,如正确点击“添加-完成”按钮。如果添加后发现有错误,可用鼠标点击完成下方的网址,选择删除即可。三、采集网址—单挑网址在“单挑或多条网址”区域下方输入要采集的网址(一行一个),点击

5、添加“按钮—完成”按钮,完成添加。三、采集网址—文本导入有时我们知道要采集的网址,或者有时用程序批量生成要采集的网址可以用“文本导入”功能。下面是在文本编辑器中输入范例中的部分网址的示例,接着我们把这部分网址导入到火车头采集器中,作为采集目标源。三、采集网址—文本导入点击“浏览”按钮,找到自己想要导入的文本文件,点“确定”按钮返回该窗口,点击“添加-完成”按钮完成添加任务。三、采集网址点击“完成”按钮,则出现以下类似界面,起始网址处可以看到新添加的要采集的网址:三、采集网址--多级网址获取如果要获取的信息是在这个页面中的链接,就需要设

6、定“多级网址获取”。点击“多级网址获取”右侧的“添加”按钮。三、采集网址--多级网址获取为了更精准获取要采集的网址,会设定在页面某区域中获取相关网址。以第一页为例,可以看到网址截取区域开始以及结尾页面的内容。网址截取区域开始网址截取区域结尾三、采集网址--多级网址获取查看页面源代码,我们以“业界动态”快速定位到要抓取网址区域开始附近,通过代码分析,可以判断出标红区域中代码为唯一代码(必须为唯一代码,否则抓取内容会不准确),标记为开始内容。同理可以获取到页尾代码:

7、lass=pt_date>三、采集网址--多级网址获取1、从网页自动分析得到地址链接:在方框内输入刚才判断的截取区域开始和结束代码,点击“保存”按钮。如想测试采集的网址效果,点击右下角的“测试网址采集”。如确定信息正确点击“保存”按钮。三、采集网址--手动填写链接地址规则2、手动填写链接地址规则:与“从页面自动分析获得地址链接”模式多了一块功能区域。从网页源代码中我们可以看到每篇文章的源代码大体如下:·O2O+会员营销,千亿盛宴你准备好

8、了吗?11月10日18:54其中粗体红色、蓝色为变动值,框住网址部分,点右侧的“[参数]”替换网址,“实际连接”处由于网址采

当前文档最多预览五页,下载文档查看全文

此文档下载收益归作者所有

当前文档最多预览五页,下载文档查看全文
温馨提示:
1. 部分包含数学公式或PPT动画的文件,查看预览时可能会显示错乱或异常,文件下载后无此问题,请放心下载。
2. 本文档由用户上传,版权归属用户,天天文库负责整理代发布。如果您对本文档版权有争议请及时联系客服。
3. 下载前请仔细阅读文档内容,确认文档内容符合您的需求后进行下载,若出现内容与标题不符可向本站投诉处理。
4. 下载文档时可能由于网络波动等原因无法下载或下载错误,付费完成后未能成功下载的用户请联系客服处理。