大数据环境下基于协同过滤的推荐系统研究与实现

《大数据环境下基于协同过滤的推荐系统研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、硕±学位论文论文题目：大数据环境下甚于协同过滤的推荐系统研巧与实现作者姓名沈杰指导教师田贤忠教授学科专业计算机技术培养类别全日制专业学位硕去所在学隙计算机科学与技术学院提交日期２０１６年１０月２０日浙江工业大学学位论文原创性声明；所提交的学位论文是本人在导师的指导下本人郑重声明，独立进行研究工作所取得的研究成果。除文中已经加，本论文不包＾＾标注引用的内容外含其他个人或集体己经发表或撰写过的研究成果，也不含为获得浙江王业大学或其它教育机构的。已在文中学位证

2、书而使用过的材料对本文的研究作出重要贡献的个人和集体，均。明确方式标明。本人承担本声明的法律责任；作者签名；曰期八片＾月Ｉ作曰Ｉ学位论文版权使用授权书本学位论文作者完全了解学校有关保留、使用学位论文的规定，同意学校保留。并向国家有关部口或机构送交论文的复印件和电子版，允许论文被查阅和借阅本人授权浙江工业大学可Ｗ将本学位论文的全部或部分内容编入有关数据库进行检レ、。索，可ッ采用影印缩印或扫描等复制手段保存和汇编本学位论文本学位论文属于□一１、保密，在年解密后适用本授权书。２□。、保密，在Ｈ年解密

3、后适用本授权书＾３、不保密０／＂＂（请在Ｗ上相应方框内打Ｖ）作者签名：文：ｆｔｉ曰期年！少月Ｉ斗曰／么，导师签日年ｆ又月日浙江工业大学硕士学位论文大数据环境下基于协同过滤的推荐系统研究与实现作者姓名：沈杰指导教师：田贤忠教授浙江工业大学计算机科学与技术学院2016年10月DissertationSubmittedtoZhejiangUniversityofTechnologyfortheDegreeofMasterRecommendedsystemresearchandimplementationbasedonCo

4、llaborativeFilteringinthebigdataenvironmentCandidate:ShenJieAdvisor:TianXian-zhongCollegeofComputerScienceandTechnologyZhejiangUniversityofTechnologyOct2016浙江工业大学硕士学位论文大数据环境下基于协同过滤的推荐系统研究与实现摘要推荐系统是一种能够主动挖掘用户兴趣偏好，为不同的用户制定个性化的推荐列表，提供个性化推荐服务的智能化系统。协同过滤算法是一种发展较早、应用广泛的个性化推荐算

5、法，目前比较流行的包括社会化推荐算法与概率矩阵分解模型。前一种算法通过融入用户社会属性，提高用户偏好刻画的准确性，后一种算法通过机器学习的方法得到用户、项目的特征，具有较高的准确度。但是，如何拓展有限的社会关系和如何揭示用户之间相互作用对用户特征的影响都还有值得研究和改进的空间。另外，大数据时代的到来，海量数据的处理对推荐系统的计算与存储能力带来了严峻的挑战。由于传统的推荐系统通常运行在单服务器条件下，分析计算能力有限，已经不能满足有效处理爆发式增长数据的需求。针对上面的问题，本文提出了两种新的协同过滤算法，在Hadoop平台实现并行

6、化计算以提高计算效率与存储能力。另外，研究并实现了一个结合Hadoop相关技术和本文所提推荐算法的具有处理海量数据能力的推荐系统。本文主要工作总结如下：1.大数据环境下的社会化推荐算法。该算法在协同过滤中引入社会信任关系，并且挖掘出更多的可信任关系。对于用户之间的信任关系，需要区分项目类别，在各类别下通过社区发现方法发现信任社区作为目标用户候选可信任用户集，以扩展目标用户可信任用户集。再根据候选可信任用户在项目类别下评价的专业性和该用户与目标用户评分的相似性，定义候选可信任用户的信任度。根据信任度得到目标用户可信任用户集，从而得到推荐

7、结果。最终给出算法在Mapreduce编程模型下的并行化实现。2.大数据环境下基于概率矩阵分解的个性化推荐。在该算法中把用户对项目偏好的相似度定义为两部分：用户对项目的评分相似度和用户对不同项目类别的关注度。根据相似度对用户进行聚类，并把用户近邻信息融入到概率矩阵分解模型以揭示用户互相影响关系。再根据聚类结果对用户、项目进行分组并组合，调整更新序列，分别在Spark和MapReduce计算框架下实现并行计算。3．在Hadoop平台，利用本文提出的推荐算法和Spark计算引擎实现了电影推荐系统。该系统具有较优的可扩展性，能够存储和计算海

8、量的数据，能够达到较高的推荐精度，提供良好的用户体验。本文通过对上述研究内容和创新点的讨论，深入研究社会关系和概率矩阵分解模型，i浙江工业大学硕士学位论文结合分布式计算技术提出具有较高推荐精度、可并行计算的推荐算法，并设