面向协同过滤推荐算法的均模型研究

《面向协同过滤推荐算法的均模型研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、分类号密级太原理工大学硕士学位论文题目面向协同过滤推荐算法的均模型研究ResearchofMeanModelforCollaborativeFiltering英文并列题目RecommendationAlgorithm研究生姓名：陈实学号：2013510285专业：计算机科学与技术研究方向：智能信息处理导师姓名：孙静宇职称：副教授论文提交日期2016年6月学位授予单位：太原理工大学地址：山西·太原太原理工大学声明本人郑重声明：所呈交的学位论文，是本人在指导教师的指导下，独立进行研究所取得的成果。除文中已

2、经注明引用的内容外，本论文不包含其他个人或集体己经发表或撰写过的科研成果。对本文的研究做出重要贡献的个人和集体，均已在文中以明确方式标明。本声明的法律责任由本人承担。论文作者签名：日期：关于学位论文使用权的说明本人完全了解太原理工大学有关保管、使用学位论文的规定，其中包括：①学校有权保管、并向有关部门送交学位论文的原件与复印件；②学校可以采用影印、缩印或其它子复制手段复制并保存学位论文；③学校可允许学位论文被查阅或借阅；④学校可以学术交流为目的，复制赠送和交换学位论文；⑤学校可以公布学位论文的全部或部

3、分内容(保密学位论文在解密后遵守此规定)。作者签名：日期：导师签名：日期：太原理工大学硕士研究生学位论文面向协同过滤推荐算法的均模型研究摘要随着互联网的飞速发展，近年来电子商务得到了迅猛发展，交易数据激剧增加，即使采用目前最有效的Hadoop、Spark等数据处理技术也仍然存在不少问题，例如一些在评测集上效果好的数据挖掘算法，或者难以实现，或者用于真实交易数据难以获得理想效果。探索面向真实应用的大数据处理方法是目前急需解决的课题。本文先对推荐系统的基本原理做了简要介绍，并对当前应用最为广泛的基于项目的

4、协同过滤（Item-BasedCollaborativeFiltering，IBCF）算法作了深入的分析。然后，介绍了均模型对数据压缩的基本原理，并面向协同过滤推荐算法对均模型进行了较为系统的研究。最后，通过实验验证了基于均模型的IBCF算法在MapReduce框架下的运行效果。具体来说，主要完成了如下四方面内容：(1)协同过滤推荐算法评测研究通过对协同过滤推荐算法的分析，发现计算任务主要集中在项目相似性计算阶段，接着对各种项目相似性计算方法进行了评测，同时指出余弦相似性计算方法精度最高。而后对推荐算

5、法的不同评价指标进行了评测研究，分析了各个评价指标的评估价值。(2)均模型及其改进研究在本课题组对均模型的前期研究基础上，对均模型的基本原理与性质进行了分析总结，并指出了原均模型对数据的处理存在分层模糊和信息失真的缺点。针对以上不足，提出了一种改进的均模型。改进的均模型在数据压缩过程中，更好的体现了分层的思想，克服了信息失真问题。在应用于IBCF算法的实验当中，改进的均模型有更理想的效果。I太原理工大学硕士研究生学位论文(3)均模型的增量扩展研究互联网中的数据每天都在不断地增长，各类数据应用系统必须不

6、断融入新增数据以保证系统的服务质量。例如推荐系统中每天都会有大量的新增数据产生，推荐系统必须及时将新增数据加入运算，从而保证推荐质量。本文以IBCF算法为应用背景，针对均模型的增量更新问题，提出了一种基于增量均模型的实现算法（IncrementalMeanModel，IncrementalMM）。IncrementalMM通过项目评分预统计为各项目建立评分统计映射表，较好地支持了均模型的增量转换。在MovieLens数据集上的对比实验结果表明，基于IncrementalMM的IBCF算法增量更新效率较

7、高，且推荐精度没有损失。(4)基于均模型IBCF算法的并行化实现为评估均模型在大数据处理上的应用效果，本文基于MapReduce框架设计了基于均模型的IBCF算法，并基于Netflix数据集，在Hadoop集群上进行了实验。实验结果表明，增量均模型能够在较大规模的数据处理过程中取得较好的应用效果。关键词：大数据，均模型，增量扩展，协同过滤，MapReduceII太原理工大学硕士研究生学位论文RESEARCHOFMEANMODELFORCOLLABORATIVEFILTERINGRECOMMENDATI

8、ONALGORITHMABSTRACTNowadays,therapiddevelopmentoftheInternethaspromotede-commercedevelopment.Withanincreasingoftransactiondata,themosteffectiveHadoop,sparkandotherdataprocessingtechnologystillexistmanyproblems.Forexample,somedata