关于火车头采集器的使用方法

《关于火车头采集器的使用方法》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、关于火车头使用方法16目录目录2一、原理描述31.火车采集器数据抓取原理：32.火车采集器数据发布原理：33.火车采集器工作流程：3二、术语解释4三、下载地址5四、安装升级与卸载6五、操作步骤716一、原理描述1.火车采集器数据抓取原理：　火车采集器如何去抓取数据，取决于您的规则。您要获取一个栏目的网页里的所有内容，需要先将这个网页的网址采下来，这就是采网址。程序按您的规则抓取列表页面，从中分析出网址，然后再去抓取获得网址的网页里的内容。再根据您的采集规则，对下载到的网页分析，将标题内容等信息分离开来并

2、保存下来。如果您选择了下载图片等网络资源，程序会对采集到的数据进行分析，找出图片，资源等的下载地址并下载到本地。2.火车采集器数据发布原理：在我们将数据采集下来后数据默认是保存在本地的，我们可以使用以下几种方式对数据进行处理。1、不做任何处理。因为数据本身是保存在数据库的（access、db3、mysql、sqlserver），您如果只是查看数据，直接用相关软件打开查看即可。2、Web发布到网站。程序会模仿浏览器向您的网站发送数据，可以实现您手工发布的效果。3、直接入数据库。您只需写几个SQL语句，程序

3、会将数据按您的SQL语句导入到数据库中。4、保存为本地文件。程序会读取数据库里的数据，按一定格式保存为本地sql或是文本文件。3.火车采集器工作流程：火车采集器采集数据是分成两个步骤的，一是采集数据，二是发布数据。这两个过程是可以分开的。1、采集数据，这个包括采集网址，采集内容。这个过程是获得数据的过程。我们做规则，在采的过程中也算是对内容做了处理。2、发布内容就是将数据发布到自己的论坛，CMS的过程，也是实现数据为已有的过程。可以用WEB在线发布，数据库入库或存为本地文件。　具体的使用其实是很灵活的，

4、可以根据实际来决定。比如我可以采集时先采集不发布，有时间了再发布，或是同时采集发布，或是先做发布配置，也可以在采集完了再添加发布配置。总之，具体过程由您而定，火车采集器的强大功能之一也就是体现在灵活中。16二、术语解释名称说明采集规则采集规则分为站点规则和任务规则，通常是指任务规则。所谓采集规则就是要采集一个网站时在软件里进行的设置。这个设置可以从软件里导出保存成一个文件并可以再导入到软件里。站点规则文件的后缀名为：.lsite；任务规则文件的后缀名为：.ljob。采集任务采集任务又简称为任务。它是采集

5、规则和发布规则的总和。也是采集规则和发布规则的载体。采集规则和发布规则的设置通过在任务编辑框里进行设置。从采集器里导出的采集规则文件（.ljob后缀的）也可称为任务规则。导入导出任务规则就是指导入导出.ljob文件。发布模块发布模块又称为发布规则，通常是指数据库发布模块或者WEB发布模块。所谓发布模块就是在需要将已经采集的数据发布到目的地（比如：指定数据库，网站中）时在软件里进行的设置。这个设置可以保存成一个文件并可以导入到采集器里使用。数据库发布模块文件的后缀名为：.jhc；WEB在线发布模块文件的后

6、缀名为：.cwr。（采集规则和发布模块都可以从采集器里导出，也都可以导入到采集器中使用。采集规则负责将网页上的数据采集下来，发布模块负责将采集的数据发布到网站中。可见，采集规则的编写和修改和被采集的网站有关系，而发布模块的编写和修改和要发布数据的网站有关系。如从不同的网站栏目采集数据往同一个网站的某个板块（频道）里发布，需要多个采集规则和一个发布模块。从一个网站栏目采集数据往不同的网站系统里发布，需要一个采集规则和多个发布模块。注意这里的说的采集规则是指采集网站和抓取内容的设置。）发布接口发布接口就是一

7、个小的页面程序通常和WEB发布模块配合使用。WEB在线发布（使用WEB发布模块）是将采集的数据以POST方式发送到网站页面程序中由网站程序处理数据。而发布接口就是为了满足特定需求而写的一个网站的页面程序（如：PHP页面，ASP页面等）。然后采集器通过WEB在线发布将数据发送到这个接口文件由这个接口文件处理数据。接口文件通常放在服务器网站某个目录下。简单的说就是采集器将采集的数据发送到接口文件中，接口文件得到数据后去处理数据。使用发布接口用户可以更加灵活自由的处理采集器发送的数据。插件火车采集器里的插件分

8、为PHP插件和.NET插件两种。标准版支持PHP插件，企业版支持PHP插件和.NET插件。插件可以让用户通过自己写PHP程序或者.NET程序放到采集器中对采集的数据进行处理。采集数据数据在四个地方可以使用插件，分别为：采网址时、采内容时、采多页时，保存时。16发布数据发布数据就是将采集到的数据发布到指定的目的地，火车采集器支持四种发布方式。方式一：Web在线发布到网站这种发布方式类似于在网站后台手工添加数据一样。采集器将数据发送给网站后台程