基于网络爬虫的电商比价及推荐系统的设计与实现

《基于网络爬虫的电商比价及推荐系统的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代码：10255学号：2161715基于网络爬虫的电商比价及推荐系统的设计与实现DESIGNANDIMPLEMENTATIONOFE-COMMERCEPRICECOMPARISONANDRECOMMENDATIONSYSTEMBASEDONWEBCRAWLER学科专业:软件工程作者:雷前春指导教师:石秀金校外导师:贾彦君答辩日期:2018年5月东华大学计算机科学与技术学院SchoolofComputerScienceandTechnologyDonghuaUniversity东华大学学位论文原创性声明本人郑重声明：我恪守学术道德，崇尚严谨学风。所

2、呈交的学位论文，是本人在导师的指导下，独立进行研究工作所取得的成果。除文中已明确注明和引用的内容外，本论文不包含任何其他个人或集体已经发表或撰写过的作品及成果的内容。论文为本人亲自撰写，我对所写的内容负责，并完全意识到本声明的法律结果由本人承担。学位论文作者签名：日期：年月日东华大学学位论文版权使用授权书学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留并向国家有关部门或机构送交论文的复印件和电子版，允许论文被查阅或借阅。本人授权东华大学可以将本学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存和汇

3、编本学位论文。保密□，在年解密后适用本版权书。本学位论文属于不保密□。学位论文作者签名：指导教师签名：日期：年月日日期：年月日基于网络爬虫的电商比价及推荐系统的设计与实现东华大学软件工程硕士学位论文答辩委员会成员名单姓名职称职务工作单位备注上海合胜计算机科王建会高级工程师答辩委员会主席技股份有限公司李继云教授答辩委员会委员东华大学孙莉副教授答辩委员会委员东华大学卢婷副教授答辩委员会委员东华大学王绍宇副教授答辩委员会委员东华大学卢婷副教授答辩委员会秘书东华大学I基于网络爬虫的电商比价及推荐系统的设计与实现基于网络爬虫的电商比价及推荐系统的设计与实现摘要

4、随着电子商务的飞速发展，通过网络购物的消费者越来越广泛。众多的电子商务平台在为消费者提供更多的商品选择的同时，也在一定程度上增加了消费者快速挑选出满意商品的困难性。比价类网站通过网络爬虫从各个电商平台抓取最新商品信息，可以为用户集中展示不同电商网站同一商品的价格对比信息，为用户选择更加优惠的电商平台提供了参考。但是，比价网的商品展示模式多为被动的展示，即系统仅按用户搜索关键词显示相关商品信息，没有主动向用户推荐商品。本文结合协同过滤推荐算法，在比价网上增加商品推荐系统，实现比价网由被动展示模式向可进行个性化推荐的主动展示模式的转变。针对传统协同过滤算

5、法无法及时适应用户兴趣变化的问题，本文提出用户兴趣时间性的概念，并结合信息熵对用户相似度计算方法进行改进，提出基于信息熵和用户兴趣时间性的协同过滤算法（IEICFA）作为推荐系统的核心算法。在爬取各电商网站商品信息时，为解决通用网络爬虫无法满足不同电商平台商品爬取需求的限制，本文针对电商平台的结构差异，对主要电商网站分别定制了不同的爬取策略，实现了自定义的网络爬虫，以完成对商品信息的采集工作，为系统的比价和推荐功能提供原始商品数据。本文最后设计并实现了基于网络爬虫的电商比价及推荐原型系II基于网络爬虫的电商比价及推荐系统的设计与实现统，可向用户提供注

6、册登录、搜索比价、商品推荐和评分评价等功能。实现的自定义网络爬虫可适应网站的结构特征，完成对商品数据进行采集。提出的IEICFA推荐算法能够适应用户兴趣随时间变化的特性，可以有效提高推荐的精确度。关键词：网络爬虫；比价网；推荐系统；协同过滤算法III基于网络爬虫的电商比价及推荐系统的设计与实现DESIGNANDIMPLEMENTATIONOFE-COMMERCEPRICECOMPARISONANDRECOMMENDATIONSYSTEMBASEDONWEBCRAWLERABSTRUCTWiththerapiddevelopmentofe-commer

7、ce,consumersshoppingthroughtheInternetarebecomingmoreandmorewidespread.Whilemanye-commerceplatformsprovideconsumerswithmoreproductchoices,theyalsoincreasethedifficultyforconsumerstoquicklyselectsatisfactoryproducts.Thepricecomparisonwebsitecrawlsthelatestproductinformationfromv

8、ariouse-commerceplatformsthroughthewebcrawler,andcandi