协同过滤算法及在智能音箱中的应用

《协同过滤算法及在智能音箱中的应用》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、学校代码：10259学号：156141107密级：公开上海应用技术大学硕士学位论文题目：协同过滤算法及在智能音箱中的应用英文题目：CollaborativeFilteringAlgorithmandItsApplicationinIntelligentSpeakers专业：机械电子工程学院：计算机科学与信息工程学院研究方向：人工智能与模式识别姓名：赵梦指导教师：于万钧2018年4月13日上海应用技术大学硕士学位论文协同过滤算法及在智能音箱中的应用摘要随着数字多媒体技术的发展，数字音乐得到了迅速的推广，各大音乐网站和平台曲库中拥有数

2、以万计的歌曲，大大丰富了人们的精神追求。但是，面对庞大的音乐数据，人们发现很难找到符合自己心意的歌曲，他们在音乐世界里迷失了方向。而百度、谷歌等搜索引擎仅仅适用于用户有明确需求的情况，另外，音乐是一个典型的具有长尾分布的物品，大多数用户只会收听热门歌曲，而这些歌曲只占了曲库的一小部分，绝大部分歌曲却无人收听。因此，个性化音乐推荐系统便是在用户没有明确目标的情况下，迅速确定用户的兴趣偏好，为他们推荐符合心意的歌曲。协同过滤作为当前最流行的推荐算法受到了各大互联网公司的一致追捧，但是仍然面临一些挑战，如冷启动、可扩展性差等。针对这种情

3、况，本文深入研究了目前主流的推荐算法，并充分结合数据挖掘算法和分布式计算的思想，对原有算法进行改进和优化，旨在解决或缓解上述问题。首先，本文对基于交替最小二乘法（ALS）的推荐算法进行改进和优化，根据用户属性信息采用Canopy-Kmeans算法对用户聚类分组，提出分群协同过滤推荐算法，有效缓解了用户冷启动问题，推荐质量也有所提高。然后，基于Spark平台的GraphX图处理框架，将用户-物品的关系矩阵转化成二分图的形式，并利用并行图计算的方式来轮换更新ALS模型中的用户矩阵和物品矩阵，最终并行实现ALS算法模型，缩短了算法的运行

4、时间。模型训练好后，基于MovieLens数据集进行多组实验，对比实验结果可以发现，相比于传统的ALS推荐算法，分群之后的ALS推荐算法模型的准确度有所提高。另外，与单机环境下相比，即使是单节点，利用GraphX实现的ALS协同过滤推荐算法执行时间也比其少得多，模型的执行效率得到提升。最后，利用训练好的模型产生推荐结果，并通过嵌入式数据库SQLite推送到智能音箱的音乐推荐模块，进而实现个性化推荐。关键字：协同过滤；Spark；ALS；GraphX；图计算上海应用技术大学硕士学位论文CollaborativeFilteringAl

5、gorithmandItsApplicationinIntelligentSpeakersABSTRACTWiththedevelopmentofdigitalmultimediatechnology,digitalmusichasbeenrapidlypromoted.Therearetensofthousandsofsongsinmajormusicwebsitesandplatformmusiclibraries,greatlyenrichingpeople'sspiritualpursuits.However,inthef

6、aceofhugemusicdata,peoplefinditdifficulttofindsongsthatmatchtheirminds,andtheyarelostinthemusicworld.Baidu,Googleandothersearchenginesareonlysuitableforuserswhohaveclearrequirements.Inaddition,musicisatypicalitemwithalongtail,mostusersonlylistentopopularsongs,andthese

7、songsonlyaccountforoneofthemusiclibrary.Inasmallpart,mostsongsareheardbynobody.Therefore,thepersonalizedmusicrecommendationsystempromptlydeterminestheuser'sinterestandpreferencefortheuserwithoutacleargoal,andrecommendsasongthatsuitshis/hermind.Collaborativefilteringas

8、themostpopularrecommendationalgorithmhasbeenconsistentlypursuedbymajorInternetcompanies,butitstillfacessomechallengessuchasc