phpcms2008 sp3 采集教材

《phpcms2008 sp3 采集教材》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、采集网站：http://news.sina.com.cn采集任务：新浪国内新闻任务列表地址：http://roll.news.sina.com.cn/news/gnxw/gdxw1/index_1.shtml第一步：添加采集站点操作：模块管理-》采集管理-》采集站点管理-》添加采集站点两个属性：基本信息和站点规则，其中，基本信息为必填项。站点规则可以填写，也可以不填写。所以说这一步可以很简单，也可以稍微麻烦些（设置站点规则）。A：基本信息填写：站点名称：就是你给这个网站做的记号，便于以后管理所用

2、。站点URL：就是网站的地址了。注意如果你采集的是网站的二级域名，比如http://roll.news.sina.com.cn那么，这里就填写二级域名。站点描述：这个可以为空。B：站点规则：整个站点内容页（注意是内容页，就是文章的详细展示页面）的通用规则，这里如果设置好后，以后添加采集任务时，会自动继承这个规则，就会省很多工作量。 第二步：添加采集任务操作：模块管理-》采集管理-》采集任务管理-》添加采集任务或者：模块管理-》采集管理-》采集站点管理-》新浪国内新闻一行中“添加任务”采集任务有三

3、个属性：网址采集内容规则高级设置A网站采集：网址采集的目的是从列表页采集到文章内容页的网址，通俗点就是模仿鼠标从列表页点击文章内容页链接。下面对各个填写项说明一下：基本信息：所属站点：这个必须选择，只有选择了站点后，后续操作才能正常进行。任务名称：这个必须填写，用于记忆。简单描述：可不填写发布栏目：一定要选择栏目，只有选择发布栏目，才能在内容规则里出现对应的发布字段！网址采集：单一网页或者无规律网页：这个最简单，只采集列表页的一页。比如：http://roll.news.sina.com.cn/

4、news/gnxw/gdxw1/index.shtml，http://roll.news.sina.com.cn/news/gnxw/gdxw1/index_2.shtml 采集多个规律网页：如果采集页面地址很有规律，可以采用“批量添加多页”方式http://roll.news.sina.com.cn/news/gnxw/gdxw1/index_2.shtml变成http://roll.news.sina.com.cn/news/gnxw/gdxw1/index_(*).shtml其中(*)就表

5、示任意字符或者数字，我们称其为通配符。接下来，我们来定义这个通配符的变化范围： 通配符范围：从____到_____步长倍数:___倒序生成补零:_____页码=通配符×步长倍数倒序生成：主要是为了采集来的内容也按照原文章列表里的顺序，一般网站列表分页都是都是按照时间降序的，最新发布的文章都在第一页，优先采集页码数大的。后采集页面数小的。注意：现在有的站点列表页是倒序生成的。补零：就是有的网站文章列表地址1-10页的地址中规律是这样的：index_01.shtml，index_02.shtml对于

6、这种情况，选中“补零“，就会自动在生成的页码上补零了。文章网址筛选：这个是用来过滤非文章内容网址的，就是要求文章内容地址里必须包含什么字符，不能包含什么字符。页面某一区域内获取网址:这个很重要，是用来确定文章列表的上下界限的。不填写则自动匹配真个页面区域。正确填写可以过滤掉不需要的网页链接，填写要点是：1、找到文章列表的第一条记录，然后页面空白处右键->查看源文件，里面搜索第一条记录的名称，在第一条记录之前，寻找特殊标志作为边界起点填到第一个框里。2、找到文章列表的最后一条记录或者分页标志，在最

7、后一条记录之后寻找特殊标识，作为边界终点填写到第二个框里。注意，这个特殊标识必须为边界起点之后第一次出现！比如：http://roll.news.sina.com.cn/news/gnxw/gdxw1/index_1.shtml页面中，我寻找的边界：其中“”出现在列表页第一条记录之前，并且是唯一的；而“