基于hadoop的推荐系统的研究设计方法与实现

《基于hadoop的推荐系统的研究设计方法与实现》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、Lif>UNIVERSITYOFELECTRONICSCIENCEANDTECHNOLOGYOFCHINA专业学位硕士学位论文MASTERTHESISFORPROFESSIONALDEGREE论文题目基于hadoop的推荐系统设计与实现专业学位类别工程硕士学号201022060622作者姓名指导教师王庆先副繼分类号密级UDC注^学位论文基于hadoop的推荐系统设计与实现(题名和副题名）唐真(作者姓名）指导教师王庆先副觀电子科技大学成都(姓名、职称、单位名称）申请学位级别硕士专业学位类别工程硕士工程领域名称计算机技术提交论文日期2013.3论文答辩

2、日期2013.5.6学位授予单位和日期电子科技大学2013年6月29日答辩委员会主席评阅人注1:注明《国际十进分类法UDC》的类号。DESIGNANDIMPLEMENTATIONOFRECOMMENDERSYSTEMBASEDONHADOOPAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:ComputerTechnologyAuthor:TangZhenAdvisor：WangQingxianSchool：SchoolofComputerS

3、cienceandEngineering独创靜明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加以标注和致谢的地方外，论文中不包含其他人己经发表或撰写过的研究成果，也不包含为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贡献均己在论文中作了明确的说明并表示谢意。作者签名：择氧日期.•a川年《月呌日论文使用授权本学位论文作者完全了解电子科技大学有关保留、使用学位论文的规定，有权保留并向国家有关部门或机构送交论文的复印件和磁盘，允许论文被查阅和借阅。本人授

4、权电子科技大学可以将学位论文的全部或部分内容编入有关数据库进行检索，可以采用影印、缩印或扫描等复制手段保存、汇编学位论文。(保密的学位论文在解密后应遵守此规定）导师签名:作者签名：曰期：>/;年‘月炒日随着互联网技术的迅猛发展，推荐系统已成为解决信息超载问题最重要的过滤工具，用以帮助用户在海量的数据中快速高效地找到有价值的内容。但在实际应用中，由于产品种类和用户数目通常非常庞大，而传统的推荐系统往往运行于单机之上，受到单机的性能限制，己经远远不能够满足海量数据推荐计算的需要。为了解决推荐系统的可扩展性问题，己经提出若干基于分布式计算开源软件框架Ap

5、acheHadoop的系统解决方案。本文在深入研究HDFS分布式系统和MapReduce编程思想的基础上，针对近年来提出的网络推荐算法，提出了几种基于MapReduce编程模型的分布式并行化算法，并在此基础上，设计和实现了一个基于Hadoop的推荐原型系统。主要工作内容如下：1.通过对Hadoop运行机制和MapReduce编程原理的研究，结合对推荐系统与推荐算法，特别是对以物质扩散推荐算法和热传导推荐算法为代表的网络推荐算法的深入分析，设计和实现基于Hadoop平台的网络推荐算法MapReduce化编程实现方案，将该算法复杂的计算任务分解为一系列

6、MapReduce作业流程，以便于在Hadoop和云计算平台上进行分布式并行化处理，通过一系列实验测试证明算法在集群上具有良好的并行性和可扩展性。2.在网络推荐算法的MapReduce化方案的基础上，使用combiner函数、sequencefile输入输出类型等优化方法，分析数据集的长尾分布数据特征和算法计算过程中的实现细节，提出通过在资源分配矩阵的计算过程中利用Pair和Stripe方案以及对极度活跃用户进行剪切的优化设计思想，有效地解决算法的性能瓶颈问题，改进基于Hadoop的网络推荐算法的MapReduce方案，并通过实验测试证明改进方法可

7、以进一步提高算法的效率。3•研究了包括Hadoop、Mahout、Sqoop、Ganglia等一系列相关开源软件的安装、部署和使用方法，结合本文设计的网络推荐算法的MapReduce化方案，经过系统需求、系统框架和流程的设计、系统的实现和系统的测试几个步骤，在多台计算机组成的集群环境下设计、实现和部署了基于Hadoop的推荐原型系统。关键词：Hadoop，推荐系统，MapReuce，网络推荐算法ABSTRACTWithrapiddevelopmentofInternettechnology,recommendersystemhasbecomethe

8、mostimportantfiltertooltosolveinformationoverloadproblem,andh