基于Hadoop的协同过滤推荐算法的研究

《基于Hadoop的协同过滤推荐算法的研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于Hadoop的协同过滤推荐算法的研究ResearchofCollaborativeFilteringRecommendationAlgorithmbasedonHadoop工程领域：电子与通信工程作者姓名：郭宁宁指导教师：王宝亮高级工程师企业导师：侯瑞高级工程师天津大学电子信息工程学院二零一七年十一月摘要互联网技术的快速发展给各行各业带来便利的同时也产生了大量信息冗余，互联网用户面临严峻的信息过载困扰。以信息检索为目的的搜索引擎，在一定程度缓解了信息过载现象，但是随着数据量的激增和推荐系统的发展，各大社交网站、运营商、电子商务等都推出了各自

2、的个性化推荐产品，这给那些“选择困难户”带来了福音。如今人们追求更加个性化和更加快速的高质量服务，因此，一个可以应用于大数据状态下的推荐策略的实现，成为解决信息过载和提高服务质量的重要手段。本文主要针对改善推荐系统中的数据稀疏性和冷启动问性，提高推荐准确率和算法的运行效率问题，提出了一种融合社交网络信息的协同过滤推荐算法，并在Hadoop平台实现并行化计算。本算法首先对原始评分数据进行预处理，形成对应的矩阵，然后通过矩阵分解的方式，将用户商品之间的评分矩阵和社交信任矩阵分别分解成低维度的用户特征矩阵、商品特征矩阵、用户之间信任矩阵和被信任特征矩

3、阵。通过梯度下降方式对算法的损失函数进行求解，不断更新迭代，产生最优特征矩阵。然后，依据分解后的特征矩阵之间的加权算法对评分矩阵中的空缺数据进行填充，以此解决数据稀疏性和冷启动问题。最后，为填充后的预测数据按照某一用户维度进行排序，将排名最靠前的N个商品推荐给用户。为了验证算法的准确性和有效性，本文使用Epninion数据集采用五折交叉验证方式进行实验分析，验证数据预测的误差值情况和推荐的准确率、召回率和两者的综合评价。最后为了提升推荐系统的扩展性和推荐效率，引入Hadoop平台为上述算法进行并行化分析并进行MapReduce代码实现。并通过分

4、析并行化实现相对于单机模式的加速比和F1值，来验证推荐算法的执行效率与推荐系统的可靠性和扩展性。实验结果证明，文中提出的融合社交网络的协同过滤算法，在降低数据稀疏性的同时，预测评分产生的平均绝对误差和均方根误差普遍更低，算法的推荐准确性更高。通过并行化实现的社交网络推荐算法相比于单机模式提升了整个推荐系统的可扩展性，缩减了算法的执行时间。关键词：Hadoop，协同过滤，并行化，社交矩阵，评分矩阵IABSTRACTTherapiddevelopmentofInternettechnologybringsconveniencetoallwalkso

5、fproductionandlife,butalsoproducesalargeamountofinformationredundancy.Internetusersarefacingseriousinformationoverloadphenomenon.Thesearchengineforthepurposeofinformationretrieval,tosomeextent,alleviatedtheproblemofinformationoverloadbuthasbeenunabletomeetpeople'spersonalize

6、dneedsaboutinformation.Withthedevelopmentofthesurgeintheamountofdataandtherecommendationsystem,themajorsocialnetworks,operatorsande-commercehavelaunchedtheirownpersonalizedrecommendationproducts,whichhasbroughtthegospeltothosewhohave"choicedifficulty".Nowadays,peoplearepursu

7、ingmorepersonalizedandfasterqualityservices,therefore,arecommendationstrategythatcanbeappliedinthebigdatastatehasbecomeanimportantsolutiontoalleviatetheinformationoverloadandimprovetheaccuracyofdata.Thispaper,acollaborativefilteringrecommendationalgorithmintegratingsocialnet

8、worksfocusesonimprovingthedatasparsityandcoldstartinrecommendersystems,andi