基于hadoop大数据框架的个性化推荐系统研究与实现

《基于hadoop大数据框架的个性化推荐系统研究与实现》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、－．，—．＇？ｓｉ一＇．ＴＶｆ：．；ｎ－７，ｖｒＣ；，■Ｌ、：ｄ：ｒ；；，：：；．，■．、＇？？：？：？＞；＞１：：＞：ｒ；；；：Ｉ．．；Ｉ；＾产＇■：：；！：：：；朵击种成丈葦＼Ｓ；ＵＮＩＶ＾ｆｔＩＴＹＯＦＥＬＥＣＴＲＯＮＩＣＳＣＩＥＮＣＥ占Ｎ凸ＴＥＣＨＮＯＬＯＧＹＯＣＨＩＮＦＡ：ｊ硕±学位论文ＬＭＡＳＴＥＲＴＨＥＳＩＳ■一；＿．麵．ｉｆ棚ｍＭ论支题目基于ｈａｄｏｏｐ大数讓架的个性化ＪＨｊ＇

2、—ｉ——推荐系统硏究与实興ｉｉＢＢＩ学科专业软件工程学２０１３２１２２０１１４作者姓名赃林指导教师陆靈副觀＇＇，蒂黑节ｎｌｙ諭佈独创性声明本人声明所呈交的学位论文是本人在导师指导下进行的研究工作及取得的研究成果。据我所知，除了文中特别加标注和致谢的地，也不包含方外，论文中不包含其他人已经发表或撰写过的研究成果为获得电子科技大学或其它教育机构的学位或证书而使用过的材料。与我一同工作的同志对本研究所做的任何贾献均己在论文中作了明确的说明并表示谢意。。：作者絶名＝日期年ｒ月／日论文使用授权、本学位论文作者完全留使

3、用学位论文了解电子科技大学有关保的件磁，向国家有口机送交论文复印和的规定有权保留并关部或构。本人授权电臥将学，允许论文被查阅和借阅子科技大学可位论文盘■，可采用影印、印的全部或部分索缩或内容编入有关数据库进行检等复制手段保存、汇学位论文。扫描编论文密应遵此）（保密的学位在解后守规定其：３一、导师签名也矣作者签名：妹〇／ｒ日：月日期年分类号密级注1UDC学位论文基于hadoop大数据框架的个性化推荐系统研究与实现（题名和副题名）邓玉林（作者姓名）指导教师陆鑫副教授电子科技大学成都（姓名、职称、单位名称）申请学位级别硕士学科专业软件工程提交论文日期201

4、6.3.18论文答辩日期2016.4.21学位授予单位和日期电子科技大学2016年6月答辩委员会主席评阅人注1：注明《国际十进分类法UDC》的类号。ResearchandImplementationofPersonalizedRecommendationSystemBasedonHadoopBigDataFrameAMasterThesisSubmittedtoUniversityofElectronicScienceandTechnologyofChinaMajor:SoftwareEngineeringAuthor:DengYulinSupervisor:LuXinSchool:Sc

5、hoolofInformationandSoftwareEngineering摘要摘要信息过载问题在当今世界越来越突出，目前有三种比较成熟的处理方法，即网站导航、搜索引擎以及推荐系统。网站导航通过收录著名网站并分门别类的方式解决信息过载问题。而搜索引擎通过为海量网页建立索引的方式解决信息过载问题。但是当用户不能明确表述自己的需求时，前两者就略显无力了，而推荐系统就可以解决此类问题。推荐系统通过分析用户历史行为记录，主动为用户推荐其潜在感兴趣的内容。但是随着互联网的高速发展，信息量也呈几何倍数增加，传统的推荐系统在海量数据下容易遭遇计算瓶颈。此外传统推荐系统未充分考虑用户兴趣多变且呈现一定

6、的离散性的问题。针对以上问题，本文参考以往推荐系统设计方案，以搜索引擎下图书的个性化推荐系统为目标，研究并实现一种基于潜在语义分析和分片聚类的混合推荐系统方案。并使用hadoop大数据处理框架解决推荐系统海量数据处理问题。本文首先研究搜索引擎下用户行为数据采集方法。分析搜索引擎下用户行为类型及其特性，针对各数据类型及其特性使用不同的数据采集方式以及标准化方法，从而完成用户行为数据采集工作。其次，针对搜索引擎下用户行为独特性和用户兴趣多变问题，提出潜在语义分析模型和分片聚类模型分别挖掘用户行为大数据下的长久兴趣和即时兴趣。其中，潜在语义分析推荐模型以内容进行推荐，可以缓解用户和图书冷启动问

7、题，并提升系统推荐的覆盖率。而基于分片聚类的协同过滤推荐模型中的将用户行为按属性和内容分片，可以抽取出用户不同时期的兴趣，从而进一步提升推荐性能，且推荐结果具有一定的新颖性。此外，针对分片聚类过程中搜索引擎下用户相似度计算问题，提出一种基于用户检索词的改进混合类型数据相似度计算方法。最后，基于Hadoop大数据处理框架研究用户行为预处理以及推荐算法的并行化方法，完成搜索引擎下图书的个性化推荐系统的设计与实现。通过引入Hadoop大数