基于hadoop的聚类协同过滤推荐算法研究及应用

《基于hadoop的聚类协同过滤推荐算法研究及应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学巧代号１０５３２学号Ｓ１３０９Ｗ４０２０ＴＰ３９１密级公开分类号碱或乂掌ＨＵＮＡＮＵＮＩＶＥＲＳＩＴＹ工程硕±学位论文基于Ｈａｄｏｏｐ的聚类协同过滤推荐算法研究及应用学位由请人姓名徐江辉工巧学院培养单位电气与信息１导师姓名及职約谭建豪教授刘国清离级：程师学科专业控制工程研究方向数据挖掘２０１６年０５月０６Ｈ论文提交日期学校代号：１０５３２学号：Ｓ１２０９Ｗ４０９密级：公开湖南大学工程硕±学位论文基于Ｈａｄｏｏｐ的聚类协同过

2、滤推荐算法研究及应用学位串请人姓名＝徐江辉导师姓名及巧祿；巧建安巧授刘国清高级工招师培养ｍ位；电气与信息工程学院专业名称；控制工程论文涅交日期：２０１６年０５月０６日论义答锐日期；２０１６年０５月２０日答縣委员会主巧＝孙巧教授民ｅｓｅａｒｃｈａｎｄＡｌｉｃａｔｉｏｎｏｆＣｌｕｓｔｅｒｉｎＣｏｌｌａｂｏｒａｔｉｖｅＦｉｌ１：ｅｒｉｎｐｐｇｇ民ｅｃｏｍｍｅｎｄａｔｉｏｎＡｌｇｏｒｉｔｈｍＢａｓｅｄｏｎＨａｄｏｏｐＢｙＸｕＪｉａｎｇｈｕｉＢ．Ｓ

3、．（ＣｈａｎｇｓｈａＵｎｉｖｅｒｓｉｔｙ）２０１３Ａｔｈｅｓｉｓｓｕｂｍｉｔｔｅｄｉｎａｒｔｉａｌｓａｔｉｓｆａｃｔｉｏ打ｏｆｔｈｅｐＲｅｕｉｒｅｍｅｎｔｓｆｏｒｔｈｅｄｅｒｅｅｏｆｑｇＭａｓｔｅｒｏｆＥｎｇｉｎｅｅｒｉｎｇｉｎＧｏ打化ｏｌＥｎｉｎｅｅｒｉｎｇｇｉｎ化ｅＧｒａｄｕａｔｅＳｃｈｏｏｌｏｆＨｕｎａｎＵｎｉｖｅｒｓｉｔｙＳｕｐｅｒｖｉｓｏｒＰｒｏｆｅｓｓｏｒＴａｎＪｉａｎｈａｏ，ＳｅｎｉｏｒＥｎｇｉ打ｅｅｒＬｉｕＧｕｏｑｉｎｇＡｒ

4、ｉｌ２０１６ｐ，湖南大学学位论文原创性声明本人郑重声明：所呈交的论文是本人在导师的指导下独立进行研巧所取得的ｊｉ研究成果。除了文中特别加ｙ标注引用的内容外，本论文不包含任何其他个人或集体己经发表或撰写的成果作品。对本文的研究做出重要贡献的个人和集体，均己在文中レッ明确方式标明。本人完全意识到本声明的法律后果由本人承担。■作者签名：冶曰期：＾八年月曰学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保。留并向国家有关部口或机构送交论文的复印件和电子版，允许论文

5、被查阅和借阅本人授权湖南大学可Ｗ将本学位论文的全部或部分内容编入有关数据库进斤检、。索，可采用影印缩印或扫描等复制手段保存和汇编本学位论文本学位论文属于１、保密□，在解密后适用本授权书。年２、不保密囚。＂＂（请在Ｗ上相应方框内打Ｖ）作者签名：体山日期：Ａ年月日导师签名曰期：。八年ｙ月２＾曰Ｉ基于Ｈａｄｏｏ的聚类协同过滤推荐算法研究及应用ｐ摘要随着互联网的快速发展，网络数据量不断增加，已经进入了大数据时代。大一－量的信息和商品同时呈现在用户面前，使我们面临个严重的问题信息过载，而一

6、个性化推荐是解决该问题个有效的方法，协同过滤方法是目前在实际推荐系统中应用最多的个性化推荐方法，它基于群体的偏好来为用户提供推荐。传统单机的协同过滤算法无论从效率上，还是从计算复杂度上都已无法满足海量信息的处理需要，云计算技术的发展为推荐算法提供了新的研究方向。因此，可Ｗ考虑利用结合大数据技术来应对算法扩展性等问题。本文对基于Ｈａｄｏｏｐ大数据处理技术的聚类协同过滤推荐算法进行研究与实ａｄｏｏ现，并对电影数据集进行应用分析。主要对Ｈｐ两大主要框架、经典聚类算法及推荐算法的相关概念进行了研究；提出基于Ｈａｄｏｏ

7、ｐ大数据处理技术的分布式聚类协同过滤推荐算法，来解决协同过滤算法应对数据稀疏性和算法的扩展性问题；对数据的稀疏性采用矩阵分解方法预处理初始数据，将预处理后的数据通过聚类算法来建立聚类模型，然后利用聚类模型和协同过滤算法形成推荐的候选空间，最后完成推荐。本文的工作重点总结；（１）对于常用的聚类算法做了研究分析，全面了解各类典型算法的优缺点，－ｍｅａｎｓ聚重点研巧了Ｋ类算法。（２）对经典的推荐算法做了深入的研究分析，着重分析了协同过滤推荐算法。（３）针对数据的稀疏性采用矩阵分解算法预处理，改善数据稀疏性

8、后利用改进的Ｋ－ｍｅａｎｓ聚类算法构建聚类模型。４－ｍ（）结合Ｋｅａｎｓ聚类模型与协同过巧推荐算法做混合推荐。－ｍｅａｎ（５）对Ｋｓ聚类算法、协同过滤推荐貧法进行改进，使其能够适应ＭａｐＲｅ