冯扬-微博推荐策略平台Eros

《冯扬-微博推荐策略平台Eros》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、微博推荐策略平台：Eros自我介绍•冯扬(young)•2006/09~2010/12:北京理工大学攻读博士学位•2011/03~2013/05:新浪微博-搜索-推荐，推荐算法设计以及推荐系统研发•2013/05~2014/09:腾讯SOSO&搜狗-社区搜索部，问答社区推荐系统研发•2014/09~:新浪微博-商业平台及产品部-推荐引擎，微博推荐策略平台设计及研发分享内容•构建推荐策略平台的动机与目标•面对的问题和挑战•Eros平台设计与特性构建平台的动机•从微博推荐的目标来看•转换&达成提升微博的用户价值•从微博推荐的业务

2、来看•量大、丰富、异构•从微博推荐的技术发展来看•重业务重流程推荐策略平台的目标•具有泛化能力业务1业务2业务3业务4…•规范化&标准化•统一接口，支持业务快速接入接口•基于效果的跟踪与迭代效果迭推荐平台代挑战一：场景、业务&数据的异构性•用户数据•内容数据•行为数据•关系数据•……挑战二：对已有推荐架构的整合feedPAPIAIAPI挑战三：如何分析推荐效果•推荐业务之间的对比•一个场景可以容纳多个业务•eg：正文页包括内容推荐、用户推荐、垂直类推荐……•推荐业务自身的因素对比•候选•决定了推荐业务效果的天花板•排序•特征

3、&算法逻辑抽象和解耦候选计算效果业务无关业务弱相关业务强相关监特征提取排序计算控&转换反特征分析特征提取候选计算馈模型训练数据清洗日志反馈模型训练排序计算效果监控在线数据数据清洗&存储特征分析整合现有的推荐架构，同时抽象出通用的框架模板规范Sec-TemplatePrim-CandidateTemplateSec-TemplateBusinessPrim-CandidateTemplateSec-Templateitem业务特征算法候选提取特征提取特征组合采用统一的规范来约束计算过程，解决业务及数据异构的问题多层级的效果对比业

4、务层比较eg:主feed趋势推用户vs.主feed趋势推内容eg:二度关系vs.兴趣协同候选层比较特征层比较eg:用户特征vs.场景特征每条曝光都会记录两条route：cand-route：business_idcand_id算法层比较eg:PCA降维vs.mRMR特征选择feat-route：business_idprim_temp_idsec_temp_id利用route跟踪每条曝光的计算过程，在各层级上进行效果对比Eros平台架构Lua+NginxLab_CommonSparkHiveR9-InterfaceLus

5、hanR-InRedis应用层AllinOneRenderingUVE向上统一访问接口产品逻辑解析&实现适配已有的推荐API，将其作为候选CandServCandServ请求RecomServ进行推荐排序AllinOneCandServCandServCandServ整合了已有的推荐APIRecomServ也可以是若干DB的组合ProductStrategies定义产品逻辑，指定候选在应用层针对不同候选进行流量分配计算层Manager管理初始模板、分发规则、模型RecomServ提取特征，构建曝光向量规则匹配，为模型分配流量保

6、存曝光向量以及曝光routeRanker预估计算请求拆分排序Predictor预估计算数据层Feature特征分析二次特征模板AnalyzingLinearFiltering线性过滤：IG、mRMR线性组合：PCA、LDA-LinearCombinationEnvaluation非线性组合：RBM、DBNNonlinearCombinationModel=二次模板+模型参数模型训练模型参数ModelTrainingVectorLR-Training+Batch：L-BFGSTransformationOnline：SGD、

7、FTRL反馈&效果监控反馈/-R-In队列，流式接入日志Hive样本清洗，产生标准样本&曝光记录/SampleWashing标准样本：用于特征分析&模型训练-/曝光记录：进行效果统计(CTR/RPM)R-In效果监控(统计)-EffectStat利用cand-route跟踪候选路径利用feat-route跟踪计算路径RecomServ分层次统计基于Eros的推荐业务开发构建候选API/选选用特征，构建初规划产品策略用已有的APIor始模板DBProductPrim-API/DBStrategiesTemplate接入线上，生成

8、标特征分析&模型接入AllinOne准样本训练Model基于Eros的推荐效果优化Product候选层对比调整产品策略StrategiesPrim-特征层对比调整初始特征Template计算层接入线上流量分配算法层对比Model算法更新Eros特性小结•逻辑抽象、泛化的推荐系