八爪鱼采集过程中常出现的问题以及解决方法.docx

《八爪鱼采集过程中常出现的问题以及解决方法.docx》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、八爪鱼采集过程中常出现的问题以及解决方法本教程主要讲的是如果你在使用八爪鱼采集时遇到一些问题，如何快速找出错误、解决错误或者如何了解错误、更好的和客服沟通的方法。八爪鱼采集器主要通过技术将用户浏览网页的操作进行定位和模拟来收集数据，用户不需要明白网页架构、数据采集原理等技能，通过八爪鱼采集器就可以构成八爪鱼可以看懂的、可以循环工作的采集流程。如果存在采集模式不满足需求的情况，排错后面有更加详细的教程。采集过程中出现的错误可以归类为五个方面，分别是网页问题、规则问题、定位模拟问题、采集器问题、以及云端问题。当采集出现异常时，

2、请先按照如下流程进行错误排查，寻找问题类型：1、手动执行一遍规则：打开界面右上角的流程图，用鼠标点击流程图内规则，从上至下，每次点击下一步都有相应反应，没有发生反应的步骤则是问题出现步骤。注意点：1）循环内的点击以及提取元素要手动选择循环中除第一个以外的内容，防止循环失效，只点击提取循环内第一个元素2）所有规则每一步执行完才执行下一步，网页未加载完全，即浏览器上圆圈等待图标未消失时，观察网页内容是否加载完全，如果加载完全可以自行取消加载，再配置规则。2、进行单机采集，查看采集结果中未采集到数据的项目。注意点：规则中最好加入

3、当前网址，这样出现未采集到数据的项目，可以复制网址在浏览器中打开查看原因，确定错误。下面分别将可能出现问题的现象叙述如下，供你参考：1、手动执行步骤无反应可能现象有两种：1）未正常执行步骤原因：规则问题、采集器问题、定位模拟问题解决方法：可进行排查，删除该步骤，重新添加一遍，如果还是无法执行，则排除了规则问题，你可以：将该网页在浏览器打开进行操作，如果一些滚动翻页或点击翻页在浏览器可以执行而采集器中不能执行，则是采集器问题，原因是采集器内镶浏览器为火狐浏览器，可能是内镶的浏览器版本在随后的版本发生了变化，导致在浏览器可以实

4、现的功能，在采集器内镶浏览器中无法执行，该类网页中的数据，智能采集翻页或滚动之前的数据。排除了采集器问题及规则问题后，你可以尝试在与制作规则时同样布局的页面上进行重新添加步骤，如果在这样的页面可以执行而只在部分页面无法执行，则是定位模拟问题，该问题往往存在于时间跨度较大的网站，原因是网站布局发生变化，导致采集器定位所需的XPath发生变化，请参考XPath章节修改规则或咨询客服，建议向客服说明网站网址和错误原因，方便客服给出解决方案。八爪鱼采集器排错-图12）循环内的点击或采集只发生于第一条内容，点击第二条内容依然采集到第

5、一条内容时原因：规则问题，定位模拟问题解决方法：查看循环当中的第一项是否勾选点击当前循环中设置的元素这一项如果勾选了依然不可以，你可以：如果循环内有其他循环，先参考上问题1的动图将里面的内容移出去，删除有问题的循环，重新设置一次，如果移出去的规则没有自动复位需要手动复位，如果循环可以使用则排除规则问题，如果不可以，则是定位模拟问题，你可以：查看循环中提取数据的自定义数据字段，查看自定义定位元素方式，看里面是否存在相对Xpath路径，如果不存在，则删除字段，勾选外层高级选项中的使用循环，并重新添加，再次尝试如果有反应，则问题

6、得到解决，如果依然不行，你可以：参考Xpath章节对网页Xpath进行修改或咨询客服，建议向客服说明网站网址和错误原因，方便客服给出解决方案。八爪鱼采集器排错-图22、单机采集采不到数据可能原因有4种：1）单机运行规则，数据还没采完便显示采集完成此种现象分为3种情况①打开网页后直接显示采集完成原因：网页问题，第一个网页加载过慢，八爪鱼会等待一段时间，超出一定时间还在加载八爪鱼就会跳过了这个步骤，后续步骤以为内容未加载出来采不到数据，八爪鱼就结束了任务，造成采集不到数据。解决方法：将网页的超时时间加长，或者在下一个步骤设置执

7、行前等待，让网页有足够长的时间加载。八爪鱼采集器排错-图3八爪鱼采集器排错-图4②网页一直处于加载状态原因：网页问题，有些网页的加载会很慢。想要采集的数据没有出现。解决方法：如果当前步骤是打开网页步骤，可以将网页的超时时间加长。如果是点击元素步骤，而且要采集的数据已经加载出来的时候，可以在点击元素步骤设置ajax延时，点击了之后有新数据加载出来而网页网址没有变化的为ajax链接，八爪鱼采集器排错-图5③网页没有进入采集页面原因：该问题常常是出现在点击元素步骤。有些网页中含有ajax链接时，根据点击位置判断是否需要设置。如果

8、没有设置，在单机采集时会一直卡在前一个步骤，采集不到数据。当网页为异步加载时，没有设置ajax延时的话，操作一般不会正确执行，导致规则无法进行下一步，提取不到数据。解决方法：在相应步骤设置ajax延时，一般是2-3S，如果网页加载时间较长，可以适当增加延时时长。点击元素，循环下一页、移动鼠标到元素上，这