轻松采集京东等各大电商商品价格等信息

《轻松采集京东等各大电商商品价格等信息》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、如何简单轻松采集京东商城中商品的信息最近在采集中，遇到很多朋友对电商网站的采集一头雾水，因为电商的采集设计的东西较多，且很多我们需要的内容都是通过js加载出来的，也就会导致很多朋友不知道如何获取这些信息，因此，在这里做一个电商的采集演示示例，我们就用京东作为我们演示示例，其他的电商网站操作过程基本也是类似。此次的教程需要用到的是熊猫采集软件，这是新一代的智能采集器，操作非常简单容易，不需要专业基础，新手首选。且功能特别强悍复杂，只要是浏览器能看到的内容，都可以用熊猫批量的采集下来。如各种电话号码邮箱，各种网站信息搬家，网络信息监控、网络舆情监测、股

2、票资讯实时监控等等。熊猫采集器是唯一拥有内容页面的深度嵌套访问功能的采集软件，对于本案例涉及到的京东商品信息，则必须使用内容页面的深度嵌套访问功能，才能一次性的采集完整。有需要的看官可以去百度收索一个熊猫采集软件下载即可。熊猫的免费版就包含实现本演示示例的所需要的全部功能。好了，下面进入我们的采集环节吧！首先，我们打开我们这次采集需要的工具,也就是熊猫采集器，点击新建项目（标准）随便给我们的项目起一个名称，不输入也是可以的，如果没有输入的话系统默认会给我们的项目命名一个随机的名字，这里因为我是京东商城信息，我就起了京东采集作为我需要的项目名称，以方

3、便我们的区分。然后点击下一步进入到标题列表页及其翻页设置，列表页是包含我们要采集内容的链接网址的页面，比如百度搜索一个关键词，会列出来很多网页，这些网页我们就可以认为是标题列表页面。在京东我们也可以搜索我们要采集的商品，搜索出来的页面其实就是我们要的标题列表页面，这里我们就用京东搜索手机出来的页面作为我们的采集对象。如下图所示的标题列表页面：将此标题列表页面的网址拷贝到我们的熊猫中进行设置，下面，点击预开始分析按钮：这个提示框的意思是，如果我们需要采集多页，也就是翻页采集，那么我们选择是即可（注意，选择是的时候再极少情况下可能将我们的翻页设置设置的

4、并不准确，这个时候我们就选择否，然后自行进行翻页设置），如果不需要，则选择否即可，这个可以根据我们的需要进行设置。我们这里选择是的话，发现翻页并非我们想要，也就是设置的不准备，所以我需要手动设置一下。这里我给大家说一下如何手动设置我们的翻页：也就是在我们选择否的情况下，我们自行如何设置翻页。首先，我们需要去我们采集的网站上面看一下，我们采集的网址，在浏览器中点击下一页的时候，网址有没有什么变化，第一页我们已经知道了它的网址，下面我们翻到第二页，在翻到第三页，我们发现，在我们进行翻页的时候，变化的page后面的数字而已，也就是说那个数字就是代表我们的

5、现在在那一页上面，好，知道这个，我们就可以在软件中自行定义定义我们的翻页了。首先选择翻页方式2，新增一个参数定义，上面我们已经知道，数字就是代表我们在那一页，这个时候，我就用一对大括号将数字代替掉，并随意命名，如下图：这个时候，我们的参数名称已经设置完毕，通过上面我们在浏览器中看如何翻页已经了解，我们的翻页是1,3,5呈递增的方式，这个时候我们就需要设置我们想从第几页开始采集，并采到那一页，且每次变化2即可，如下图：那么，我们的翻页设置也已经全部完成，进入下一步设置，进入到选择内容页的设置中，随便选择一个我们要采集的链接，如果右边我们要采集的链接全

6、部被红框框选起来了。那么这里我们就不要进行调整，如下图：这里我们要采集采集的内容页链接都被正确的包含起来，那么我么就直接下一步，进入到内容页面模板管理，这里系统默认会把我们在上一步选中的链接作为模板，在这里，我们也可以自己选择一个链接作为模板，只要把网址粘贴到添加新模板按钮左边的文本框里，点击添加新模板即可，如下图：点击添加新模板之后会弹出一个设置模板的新窗口。点击软件上方的开始分析，稍等片刻之后软件会询问你是否需要软件自动提取标题正文，一般情况下我们在这里都会选择否，如果你是采集新闻类的内容，这个地方你也可以选择是，也可以选择否，（选择是的话就软

7、件就直接帮我们分析出来标题和正文了，操作就很简单，选择否就需要我们自己找到我们要采集的内容，这种操作会很灵活，由于选择是非常简单，我们这里就选择否了）如图：这个时候，我们在只需在左边找到我们要采集的数据，选择，然后点击采集该项，就可以将信息采集下来，但是在京东等各大电商上面很多数据都是通过js加载的，我们并不能直接选中，例如价格，销量，我们在左边都是找不到的，而商品名称在左边却是可以找到，如图：对这种js加载的数据，熊猫无法直接识别出来，我们需要通过第三方软件，也就是抓包工具，找到我们要采集的这些数据真实存在的地方（目前大部分浏览器是自带抓包的，不

8、是很明白看客可以百度查看一下抓包的说明），然后利用熊猫的子页面嵌套访问功能，将我们要的数据采集下来。这里我就利用浏览器抓包