基于分布式的商品信息网络爬虫系统的设计与实现

《基于分布式的商品信息网络爬虫系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号学号M201272895学校代码10487密级硕士学位论文基于分布式的商品信息网络爬虫系统的设计与实现学位申请人：姚富贵学科专业：计算机技术指导教师：凌贺飞教授答辩日期：2014年5月27日万方数据AThesisSubmittedinPartialFulfillmentoftheRequirementsfortheDegreeoftheMasterofEngineeringDesignandImplementofDistributedCommodityInformationWebCrawlerSystemCand

2、idate:YaoFuguiMajor:ComputerTechnologySupervisor:ProfessorLingHefeiHuazhongUniversityofScience&TechnologyWuhan430074,P.R.ChinaMay,2014万方数据独创性声明本人声明所呈交的学位论文是我个人在导师指导下进行的研究工作及取得的研究成果。尽我所知，除文中已经标明引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的研究成果。对本文的研究做出贡献的个人和集体，均已在文中以明确方式标明。本人完

3、全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，即：学校有权保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅和借阅。本人授权华中科技大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇编本学位论文。保密□，在年解密后适用本授权书。本论文属于 不保密□。（请在以上方框内打“√”）学位论文作者签名：指导教师签名：日期：年月日日期：年月日万方数据华中科技大学硕士学

4、位论文摘要自1989年WorldWideWeb诞生以来，电子商务伴随着互联网的普及而获得高速发展，它不仅有力地推动经济全球化，还极大地改变了人们的生活方式。在电子商务网站发展过程中，不仅商品种类丰富化，网购形式也呈现出多样化，如B2C、C2C以及团购、尾品。在移动终端多样化的背景下，面对众多选择，如何帮助、引导用户购物，是一个值得深入研究的课题。设计实现一个分布式商品信息爬虫系统可以爬取各购物网站的商品信息，进而为以图搜商品的导购网站或比价网站提供商品数据，从而达到帮助用户购物的目的。首先介绍了网络爬虫涉及的相关技术，

5、然后在此基础上结合购物网站以及商品网页的特点，重点研究了爬行策略、网页解析和爬虫系统稳定性这三个方面。在爬行策略上，对比分析了现有爬行策略的优缺点，提出一种基于广度优先的改进爬行策略，通过对URL分类并赋予权值，将原有的URL队列替换为优先级队列，使得爬虫爬取目标更有针对性，以此提高爬行效率。对于网页解析，针对网页使用JavaScript技术导致部分商品信息无法提取，提出两种解决方案。一种是通过爬取URL对应的移动端网页获取商品信息，另一种是通过模拟浏览器访问网页，获取网页上包括JavaScript加载的数据后再做进一

6、步解析，从而获取到完整的商品信息。针对爬虫运行在复杂的网络环境中这一情况，系统从线程检测重启、中心节点信息备份以及爬虫增量爬行这三个方面提高稳定性和容灾性。通过对分布式商品信息网络爬虫系统运行测试，验证了系统的分布式架构的可行性和高效性。测试结果显示，对各购物网站目标商品的爬取正确率均在99%以上，改进的爬行策略对爬行效率的提升也得到验证。关键词：商品信息爬虫，分布式，爬行策略，网页解析I万方数据华中科技大学硕士学位论文ABSTRACTSinceWorldWideWebbornin1989,e-commerceacce

7、sstohigh-speeddevelopmentalongwiththepopularityofInternet,itnotonlyeffectivelypromoteseconomicglobalization,butalsogreatlychangespeople’slife-style.Moreandmoregoodsappearonlineandtheformsofonlineshoppingarebecomingdiversifiedintheprocessofe-commercewebsitedevelo

8、pment.Howtohelpandguideuserswhentheyhavemanychoicesonlineshoppingisatopictostudy,especiallyinthebackgroundofthemobileterminaldiversified.Designandimplementofadistribu