资源描述:
《京东推荐系统实践-刘思喆.pdf》由会员上传分享,免费在线阅读,更多相关内容在行业资料-天天文库。
1、京东推荐系统实践打造千人千面的个性化推荐引擎推荐搜索部刘思喆2015年4月18日......目㐡推荐系统1.京东推荐产品及架构2.通用模型的应用3.离线CTR预测实例4.实验与监控......目㐡推荐系统1.京东推荐产品及架构2.通用模型的应用3.离线CTR预测实例4.实验与监控......京东推荐产品•80+推荐产品,包括移动端和Web端•20+推荐服务,支撑EDM、广告、微信端等•遍布用户网购的各个环节推荐系统的价值•挖掘用户潜在购买需求•缩短用户到商品的距离•用户需求不明确时提供参考•满足用户的好奇心......推荐产品截图示例......不同位置的推荐产品定位不
2、同•单品页:购买意图•订单完成页:交叉销售•过渡页:提高客单价•关注推荐:提高转化•购物车页:购物决策•我的京东推荐:提高忠诚度•无结果页:减少跳出率•首页猜你喜欢:吸引用户......京东推荐系统架构......京东推荐算法优化方向•以数据分析为工具,提升数据的质量和覆盖度,增强对业务的理解(25%)•测试不同算法在不同数据源的效果,提高召回模型的质量,增加结果辨识度(50%)•以用户反馈为依据,融合不同类型、不同维度据源,对推荐结果重排序(15%)•增加数据的更新频率(5%)•其他(5%)......推荐系统效果全景图注:出于公司数据发布安全考虑,已对品类订单占比数
3、据做了随机变换,仅为演示所用......目㐡推荐系统1.京东推荐产品及架构2.通用模型的应用3.离线CTR预测实例4.实验与监控......京东对推荐数据的理解用户行为1.浏览基于内容2.点击•标题•普通点击•搜索点击•扩展属性3.加入购物车(或关注)•评论4.购买•描述•订单•...•用户5.评分......典型推荐系统技术按照数据的分类:协同过滤、内容过滤、社会化过滤按照模型的分类:基于近邻的模型、矩阵分解模型、图模型......协同过滤I对于商品(item)向量至少有10+的距离计用户和商品的共现阵:算公式来计算商品间的距离,一般有:I•Jaccard距离U1,0
4、,0,0,0,1,•(修正)cosine距离0,1,0,0,0,0,1,1,0,0,0,1,•Manhattan距离0,0,0,0,1,0,•Chebychev距离0,0,1,0,1,0,•欧(闵)式距离0,0,1,0,1,0,•Pearson相关系数0,0,0,1,0,0,•Spearman相关系数0,0,0,0,0,1,0,0,0,0,1,0,•Kendall相关系数0,0,1,0,0,1,•.........协同过滤II以及不太常见的:•simrank•Mahalanobis距离•基于条件概率的interest•Loglikelihoodratio•Mutuali
5、nformation......支持类模型•离线推荐CTR预测模型•用户购买力模型•周期购买商品识别模型(商品识别+购买周期)•``不良''商品识别模型•基于图书内容的LDA模型•用户行为加权组合的SVD、SVD++......关于冷启动对于“瓜子”我们应该推荐什么11591_瓜子1590_锅巴1.00021591_瓜子1590_薯片0.59631591_瓜子1590_花生0.44341591_瓜子1591_开心果0.31851591_瓜子1591_花生0.27461591_瓜子1591_西瓜子0.26571591_瓜子1591_腰果0.23581591_瓜子1595_
6、饼干0.23091591_瓜子1590_豆腐干0.227101591_瓜子1592_牛肉干0.226111591_瓜子1594_口香糖0.206121591_瓜子1591_炒货0.204131591_瓜子1590_肉松饼0.203141591_瓜子1671_卫生纸0.172151591_瓜子1593_大枣0.165......周期类商品(部分)......作弊和反作弊•用户行为的复杂•过度SEO•直接作弊策略:•异常行为降权•异常用户直接过滤•点击流规则过滤......目㐡推荐系统1.京东推荐产品及架构2.通用模型的应用3.离线CTR预测实例4.实验与监控......推
7、荐的CTR预测•关联推荐的情境下,根据给定主商品推出的推荐商品,在用户浏览后被点击的概率。•可以理解为条件概率P(Y=1jX)为什么要预测推荐商品的CTR?1.调整推荐商品的排序,推断潜在模式2.多模型融合的方式3.发现影响推荐商品点击率的重要因素......特征表征方法用目标问题所在的特定领域知识或者自动化方法来生成、提取、删减或组合变化来得到特征。自动化技术领域经验法•PCA,ICA,NMF•条件关系(=,!=)•LinearDiscriminant•几何运算Analysis•分段及比例•CollaborativeFiltering•