刘尚堃_京东数据驱动下的个性化推荐系统

《刘尚堃_京东数据驱动下的个性化推荐系统》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、京东数据驱动下的个性化推荐系统刘尚堃自我介绍•7年电商搜索•2年电商广告•2年电商推荐•团队目录CONTENT1.产品展示2.个性化推荐技术概览3.数据平台4.召回模型5.排序模型6.架构/ab测试7.未来优化方向1产品展示I.提高网站销售能力，考核指标：转化率、GMVII.定位和发现用户兴趣，让用户可以逛起来，考核指标：产品DAU、停留时间、访问深度、新老用户留存等1.2产品展示移动端个性化推荐订单贡献已经达到14%。目录CONTENT1.产品展示2.个性化推荐技术概览3.数据平台4.召回模型5.排序

2、模型6.架构/ab测试7.未来优化方向2、个性化推荐技术概览APP个性化推荐微信/手QPC推荐订单占比订单占比GMV占比11%14%13%跨体系、跨终端核心业务支撑架构个性化推荐服务集团多项核心业务和战略项目均以推荐搜索为支撑，包括主页千人千面、移动端、微信、手Q，以及O2O;LamdaMartRankSVM-IRLR机器学习BPRGBDTRBM个性化推荐离基于行为SVDCFSVD++线个性化推荐通过全方位的数据精准刻画用户的购买意模地域模型用户画像人气模型型图，有针对性给用户推荐用户购买意愿高的商

3、品，为用户提供极致的产品体验，提升下单转化率，增强用户粘实时数据收集批量数据收集性。数据平台目录CONTENT1.产品展示2.个性化推荐技术概览3.数据平台4.召回模型5.排序模型6.架构/ab测试7.未来优化方向3.1、数据平台——数据流程Website/AppMercuryDiviner（点击流系（推荐系统）统）离线和在线计算框架3.2、数据平台——用户数据打通1、多屏互通2、兴趣传递3.3、数据平台——离线计算和在线计算框架DataMartHDFSFilesHBaseI.离线计算主要在Hadoop

4、上运行MapReduceII.部分计算都使用Mahout，SparkIII.通过分布式任务调度系统对算法进行调度和监控RedisKafkaHBase在线计算主要基于Storm，实时消息基于kafka(150亿+)目录CONTENT1.产品展示2.个性化推荐技术概览3.数据平台介绍4.召回模型介绍5.排序模型介绍6.架构/ab测试7.未来优化方向4.1召回模型（获取候选）——基于在线行为用户浏览相似用户购买的搭配4.2召回模型（获取候选）——基于长期行为•基于离线的浏览相似模型•基于离线的购买搭配模型•基

5、于离线的CF召回模型•基于离线的SVD、SVD++召回模型4.2.1召回模型——计算搭配商品的trick（1）京东计算搭配商品除传统购物篮分析作用到单品外，还利用产品词到产品词的关系构建出网络。前项后项权重产后塑身孕妇装-1.55月子装孕妇装-1.32婴儿外出服羽绒服/棉服-1.28水壶/水杯洗衣液/皂-1.27婴儿鞋帽袜防辐射服-1.12日常护理孕妈美容-0.99奶瓶奶嘴驱蚊防蚊-0.97婴儿内衣防辐射服-0.97婴儿鞋帽袜摇铃/床铃-0.97滑板车日常护理-0.87拉拉裤婴幼奶粉-0.87奶瓶奶嘴吸

6、奶器-0.85婴儿尿裤调味品-0.84婴幼奶粉水壶/水杯-0.844.2.2召回模型——计算搭配商品的trick（2）4.2.3、召回模型——计算搭配商品的trick（3）通过产品词之间的关系提升长尾商品的搭配覆盖4.3召回模型——基于用户偏好4.4、召回模型（获取候选）——基于地域4.5召回模型——召回模型效率分析模型展示转化率：订单量/展示量目录CONTENT1.产品展示2.个性化推荐技术概览3.数据平台4.召回模型5.排序模型6.架构/ab测试7.未来优化方向5.1、排序模型——排序学习Logis

7、ticRankSVMGBDT/RandomRegressionForest实现方式VowpalWabbitSPARKXGBoost学习方式PointwisePairwisePointwise,Pairwise(orListwise?)优化目标LogitLossAUCLogitLossAUC,NDCG稀疏数据处理非常容易非常容易比较容易连续型数据手动分段手动分段自动分段离散型数据二值化二值化连续化模型复杂度控制l1+l2正则l1+l2正则树深度，学习率速度训练和预测快训练一般，预测快训练一般，预测快内存消

8、耗O(1)O(1)O(n)5.2、排序模型——标记方法一、Point标注：方法二、pairwise标注：5.3、排序模型——特征计算召回模型标记特征商业模型用户特征商品特征上下文特征时间特征地域特征季节特征5.4、排序模型——排序学习效果改进2.50%120.00%RCTR_Base改进(无L2R)改进（L2R）改进-无L2R：提升改进-L2R相对Base：提升改进-L2R相对于改进100.00%2.00%80.00%1.50%60.00%