基于hadoop云平台下的协同过滤算法研究

《基于hadoop云平台下的协同过滤算法研究》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、万方数据分类号UDC密级学位论文基于Hadoop云平台下的协同过滤算法研究作者姓名：李士炜指导教师：王翠荣教授东北大学信息科学与工程学院申请学位级别：硕士学科类别：专业学位学科专业名称：计算机技术论文提交日期：学位授予日期：评阅人：2014年6月2014年7月易秀双吕梦雅论文答辩日期：答辩委员会主席：东北大学2014年6月刘杰民万方数据AThesisinComputerTechnologyIIIIIIIIIIIIHIIIIIIIIIIIIIJY2988315ResearchofCollaborativeFilteringAlgorithmBasedOnHadoopC

2、loudPlatformByLiShiWeiSupervisor：ProfessorWangCuirongNortheasternUniversityJune2014万方数据独创性声明本人声明，所呈交的学位论文是在导师的指导下完成的。论文中取得的研究成果除加以标注和致谢的地方外，不包含其他人已经发表或撰写过的研究成果，也不包括本人为获得其他学位而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均已在论文中作了明确的说明并表示谢意。学位论文版权使用授权书本学位论文作者和指导教师完全了解东北大学有关保留、使用学位论文的规定：即学校有权保留并向国家有关部门或机构送交

3、论文的复印件和磁盘，允许论文被查阅和借阅。本人同意东北大学可以将学位论文的全部或部分内容编入有关数据库进行检索、交流。作者和导师同意网上交流的时间为作者获得学位后：半年口一年口一年半口两年影／学位论文作者签名：绣彬讳导师签名：签字Et期：力14。易．沙签字日期：髻节加f午．占．≯节万方数据东北大学硕士学位论文摘要基于Hadoop云平台环境下的协同过滤算法研究摘要在互联网电子商务如此普及的今天，人们的购物生活方式发生了翻天覆地的巨大变化，我们只需要一个智能终端接入互联网就可以做到足不出户的购买自己想要的东西了。但随着信息爆炸给我们带来了亦喜亦忧的情感，值得欢喜的是我们

4、有了更多种的选择，忧的是它给我们带来了选择困难症，我们需要从浩如烟海的信息中过滤掉那些不相干的咨询，同时又要对我们的喜好兴趣有着明确的态度。推荐系统便是在这样一个背景下诞生出来的，它的作用是在认知我们的兴趣爱好后挖掘出我们潜在的需求商品。一些企业机构及数据挖掘方面的学者用不同的方式来实现它。协同过滤(CollaborativeFiltering)是当今发展前景最广阔的方法，也是互联网电子商务领域中应用最为广泛的方法之一。因此，本文选择该方法作为研究的重点。首先，本文在研究传统的基于用户的协同过滤算法的基础上提出了一种利用非负矩阵分解的改进方法。该方法挖掘用户潜在属性

5、这一维度，使得算法在该维度捕捉用户的兴趣爱好，这样相似性计算所选取的对象更具合理性，保证了最邻近集合中的用户和活跃用户确实是兴趣相似的，经实验证明，该改进算法在MovieLens数据集上比传统的协同过滤算法有更准确的预测值。除此之外，针对于协同过滤中用户兴趣转移这一问题，本文又给出了基于增量更新的改进算法。该算法只计算更新数据中增量因子，通过缓存中间数据以降低计算量，经实验证明，在相同环境下该改进算法在Netflix数据集上比传统的协同过滤算法有更短的运行时间。云计算和大数据俨然成为当今互联网界最热门的话题之一，它被认为是引领下一代互联网革命的核心方向。云应大数据而

6、生，所有它具有着强大的计算能力和存储能力，本文基于云计算的优势解决协同过滤中的“大数据”问题，即可扩展性问题。为此，本文选取了Apache旗下最为流行的开源项目Hadoop分布式系统作为核心算法的云开发平台。为了使上述的改进算法在Hadoop云环境下实现并行化，本文对Hadoop系统的HDFS分布式文件系统和MapReduce编程框架做了深入的研究。对改进算法的两个阶段实现了并行化处理。最后的实验采用大规模的Netflix数据集，和传统的协同过滤算法进行了精确度和运行时问的比较，改进算法结果均好于传统算法。关键词：协同过滤；非负矩阵分解；增量更新；云计算；Hadoo

7、p—II—万方数据东北大学硕士学位论文ResearchofCollaborativeFilteringAlgorithmBasedOnHadoopCloudPlatformAbstractNowadays，therapiddevelopmentinE—commercehaschangedthewaypeoplelivealot,wecangetwhatwewantjustathomebysittingatthecomputerorusingaterminalwhichcanconnectintotheInteract．Buttheexplosionofinfor