基于hadoop的协同过滤推荐算法的设计与实现

《基于hadoop的协同过滤推荐算法的设计与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、３密级：单位巧码；１０２９考巫營後巧？去俗戈齡爾零編—？Ｉ聲马＇■：论文題目：暮于Ｈａｄｏｏｔ）的协同过滤推荐算法腹—ＳｉｔＭｉ学号１２１２０４３１２３姓名奎巧导师王晦专业学位类别王程顾±类型ＩＬ—０金＇■专嘘（领鶴）；；哨辦‘论文提交日顯二雲…六年二巧－＝一一‘，ｆ－＇ｖ．。＇：．＊ｆ＜－：－．＂：南京邮电大学学位论文原创性声明本人声明所呈交的学位论文是我个人在导师指巧Ｆ进

2、巧的研究Ｘ作及取得的研究成果。，尽我所知餘了文中特别加到标注和致谢的地方外，论文中不包含其他人已经发衷或撰写过的研究成果，也不包含为获得南京邮化大学或其它教育机构的学位或化书而使用过的材料。与我一同工作的同志对本研巧所做的任何贡献均已在论文中作了明飾的说明并表示了谢意。…切扣关的法律责任本人学位论文及涉及相关赏料若巧不实，愿意承担。硏究生签名；日期／日；＞／ｒ华—南京邮电大学学位论文使用授权声明本人授权南京邮电大学可ｔｉＵ呆留井向国家有关部ｎ或机构送交论文的复印件和电子文档；允许论文被當阅和借阅；可＾处将学位论文的全部或部

3、分内容编入有关数据库进行检崇．可Ｗ用影印、缩印或采扫描等复制。手段保存、汇编本学位论文本文电子文巧的内容和纸质相一的致。论文内容论文的公布（包括登）授权南京刊邮电大。学研究生院办理涉密学位论文在解后适。密用本授权书硏究化签：心、。名导签：城师名裏日：—－期去４０—Ｕ１TheDesignandImplementationofColaborativeFilteringRecommendationSystemBasedonHadoopThesisSubmittedtoNanjingUniversityofPostsandTelecomm

4、unicationsfortheDegreeofMasterofEngineeringByLiZhuangSupervisor:Prof.WangXiaojunFebruary2016摘要互联网技术的发展与普及满足了互联网用户在信息时代的需求，但是信息数据的海量增长又使用户面临信息超载问题，个性化推荐系统应运而生。其中协同过滤推荐算法是目前个性化推荐技术中应用比较成功的算法之一。但是传统的协同过滤推荐存在数据稀疏性、冷启动和可扩展性等问题。论文对协同过滤算法进行深入研究，对传统的协同过滤算法提出了一些改进方案。主要的工作内容如下：（1）论文提出在传统协同过滤

5、算法计算项目相似度的过程中，加入项目特征因素。首先根据项目特征信息计算出项目在特征方面的相似度，接着计算项目在用户评分方面的相似度，然后将项目特征相似度和项目评分相似度相结合得到项目的综合相似度。论文改进的算法缓解了数据稀疏性问题。在改进项目相似度计算中加入了项目特征因素时，项目特征相似度与传统的项目评分相似度两者按照一定权值结合。合理的权值选取才能保证最优的推荐结果，因此在训练模块中通过训练数据集去训练权值，然后比较各权值下的MAE值，从中选取最优权值为用户产生推荐。（2）基于Hadoop平台实现推荐。面对不断涌入的用户和项目，系统负荷及其开销增大时，Ha

6、doop平台系统强大的分布式运算能力可提高对大数据处理的效率。在综合项目相似度模块，通过Hadoop平台与Mahout框架的交互，项目特征相似度的计算、项目评分相似度的计算和综合项目相似度的计算都可以进行离线处理，这样就提高了线上给用户推荐项目的效率。在推荐模块中，Hadoop平台结合了Map-Reduce编程框架对最近邻选取和产生推荐等各个阶段作业进行分布式计算，减少了在数据量庞大情况下计算的运行时间，缩短了生成推荐的时间轴，提高了推荐的整体效率。关键词:推荐系统，协同过滤，Hadoop，MapReduce，项目特征相似度IAbstractThedevel

7、opmentofInternetTechnologyfulfillsthedemandofInternetUsersintheeraofinformation.However,usershavetofacethehugeamountofinformationwhichleadstotheproblemofinformationoverload,andthus,personalrecommendationsystemwasinventedtodealwithit.Collaborativefilteringalgorithmisoneofthemostsucc

8、essfulpersonalrecommendati