基于lfm的混合推荐算法ppt课件.pptx

《基于lfm的混合推荐算法ppt课件.pptx》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、作者:庄程旭清华大学电子工程系基于邻域，LDA和FM的混合推荐系统设计百度电影推荐问题描述评分标签关注魔幻片外语片？训练数据：1,262,741测试数据：314,679电影总数：8,369用户总数：143,670标签总数：1,129平均关注数：6.91用户观看电影记录：9,871,737基础模型FM模型建立实证研究比赛之后文献综述FactorizationmachinesBasicModelsRandomForestLibFM2.SVD++RBMkNNBasicFeaturesMainPoint模型建立实证研究比

2、赛之后文献综述模型建立实证研究比赛之后文献综述BasicFeatures实证研究比赛之后文献综述模型建立AdvancedFeatures基本思路：参考kNN的思想，参考相邻的人的打分来得出最后的打分模型建立实证研究比赛之后文献综述初步实验每一套模型均采用以下4种参数和程序运行方式：LibFM：采用MCMC学习，初始值选取参数0.1，特征维数20维，迭代100轮SVD++_2：采用SGD学习，迭代200轮，特征维数50维，前100轮步长0.01，后100轮步长0.001，参数惩罚0.0001，用sigmoid化。S

3、VD++_1：采用SGD学习，迭代200轮，特征维数50维，前100轮步长0.01，后100轮步长0.001，参数惩罚0.1。SVD++_3：采用SGD学习，迭代400轮，特征维数50维，前200轮步长0.01，后200轮步长0.001，参数惩罚0.0001，用sigmoid化。模型建立实证研究比赛之后文献综述初步实验模型LibFMSVD++_1SVD++_2SVD++_3Tag0.61980.63820.62420.6435GoodTag0.61860.63900.62620.6451Tag+diff0.620

4、00.63480.62830.6592Sns0.62070.63880.62970.6426Sns+thread0.62080.63890.63250.6527Sns500.62270.63750.62430.6510Snsall0.62340.63750.62590.6440Movieall0.61480.63040.61680.6365模型建立实证研究比赛之后文献综述初步分析Tag和sns之间的对比Tag比起sns来说更加密集这是个很不成熟的Sns系统：3.一部电影至少1个tag，大部分电影有10个tag一部

5、电影平均有12.93个tag一个人平均只有6.91个关注（并且大部分人关注一个从未有打分记录的官方账号）总共143,670个人，有98733个人只有3个或者以下被关注数目，有40715个人根本没有人关注1.user数据的分散性模型建立实证研究比赛之后文献综述根据数据分析2.movie数据的集中性含义：相似的人太相似；user的相似对里有54.2%的相似度超过0.5，甚至有30.1%的相似度超过0.7。而movie的相似对里面只有9.1%的相似度超过了0.5。而相似的电影能够很好的扩大数据量通过相似的电影，能够看到

6、更多的潜在的打分用户本质考虑：在人和电影的二分图之间引入隐层来增强两两之间的联系，从而相当于扩大了训练数据量模型建立实证研究比赛之后文献综述深入分析现象：人的打分记录的分散。电影打分记录的集中。“对称性破缺”启发：movie的feature效果更好。因为movie需要更多的自由度！来应对更多的user。模型建立实证研究比赛之后文献综述深入分析深入思考：对于不同数据量的电影，给予不同的重视，用较多的feature的数量来满足其适应data的需求。对于较少的数据量的电影，用较少的feature来防止过拟合。模型建立实

7、证研究比赛之后文献综述修改之前的模型用聚类来使user更集中：用LDA的方法来做user的聚类，之后添加最相似的30个类作为userfeature。直接选取观看电影数超过100的人作为相似分析的全集。只选取打过分的人作为相似分析的全集（只有9873个人打过分）2.将相似电影和其他feature混合：movie+tagmovie+snsallmovie50模型建立实证研究比赛之后文献综述新模型测试模型LibFMSVD++_1SVD++_2SVD++_3Movie+tag0.61380.63090.61590.639

8、0Movie500.61480.63200.61800.6421Movie+snsall0.61460.62790.61890.6526Snsallchange0.62070.63810.62610.6417Snsallthread0.62190.63810.62620.6432Sns_topic0.62250.64030.63090.6373Snsall0.62340.