个性化搜索技术和应用

《个性化搜索技术和应用》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、个性化搜索技术和应用公达一淘及搜索事业部-搜索技术-算法技术目录个性化搜索个性化搜索系统用户数据个性化模型为什么做个性化搜索解决长尾需求，实现搜索结果多样性满足用户隐含购物需求，缩短购物路径T恤——T恤女——T恤女甜美——T恤女甜美[50~100]个性化搜索的挑战如何描述用户的个性，是否准确？如何应用个性化数据，改进搜索结果？用户个性和用户未来的点击、购买的宝贝之间有什么关系？性别准确率：94%，召回率：86%搜“T恤”，男性用户点“男T恤”的概率：58%搜“T恤”，女性用户点“女T恤”的概率：77%什么时候需要个性化训练数据转化型query浏览型queryQuery的

2、个性化意图地域性别购买力年龄段。。。显式：query包含个性化tag隐示：query不包含个性化tag连衣裙，大裤衩电影票骷髅头T恤情侣装蕾丝正版海外购官网高档samsung三星galaxynotei92203g(gsm/wcdma)手机黑色弹力修身高腰小脚裤薄款eg.用户意图分析模型个性化程度无个性化过度个性化适度个性化对于高档购买力的人，搜“T恤女”时，展示的结果个性化的时效性当前点击“甜美”的人，未来点击“甜美”的概率横轴是未来点击与当前的点击次数间隔，即未来第n次点击纵轴是点击“甜美”的概率个性化搜索系统搜索基础数据用户数据引擎Query处理引擎商品搜索引擎前端

3、离线计算商品用户Query全量数据处理实时数据处理个性化搜索平台用户基本特征：性别年龄职业地域购物偏好：购买力风格销量服务质量类目品牌关键词宝贝销量价格类目风格品牌关键词卖家服务质量特色个性化模型宝贝用户Query性别模型确定模型目标整合训练数据训练模型模型评测样本特征表述转化为2分类问题支付宝身份证性别数据GBDT准确率/召回率人工评测选择性别差异明显的类目上的男女行为（点击，成交，收藏）占比考虑行为时效性购买力模型类目价格分档根据用户<购买，收藏，点击>宝贝的价格来计算用户+类目的购买力利用协同过滤的思想，补充没行为的用户+类目的购买力U_1U_2U_3C_1C_2

4、C_3U_4U_5U_6C_4C_5？？？？？？？？？C_1C_2C_3C_1C_2C_3C_4C_5C_4C_5用户类目类目类目关键词偏好通过用户点击，购买，成交，收藏的商品的标题挖掘用户所关注的语意单元的信息方法：基于历史商品标题分词粒度的TF-IDF统计模式问题：粒度太细，用户在单个词上难有长期偏好词太多，存储空间大页面展示效果较凌乱建立基于原始统计为基础的topicmodel的解决方案PLSALDA人工reviewtopic下的词森女森系森林系森女系。。。个性化定制线上：新方案：方便用户查看、修改个性化信息用户数据用户数据数据分析工具数据分析工

5、具数据分析工具购买力接近的人，点击的商品也接近数据分析工具数据分析工具年龄接近的人，点击的商品也接近个性化模型利用用户偏好和宝贝属性，预测用户对宝贝的满意度。使用L1-LR逻辑回归模型L1-LR的优点是可以产生稀疏的特征权重，更容易解释搜索结果页成交宝贝详情页点击宝贝点击评价、收藏、购买。。。满意度L1-LR模型模型训练MPI集群：200台机器*24线程10亿条训练数据，500G100万个特征，0/1特征10分钟训练特征处理特征离散化加快处理速度非线性特征平滑威尔逊区间PV越小，CTR的置信度越小防止低pv的商品占优势特征组合非线性PV+IPV组合，比CTR的信息更多特

6、征聚合特征降维：特征维度高、稀疏、误差大相似特征有相似的权重特征的权重近似于后验概率评估指标线下特征权重分析AUC(areaundercurve)NDCG(NormalizedDiscountedCumulativeGain)分queryAUC分用户+类目AUC线上：A/Btest成交转化率，CTR业务指标Case查看特征权重历史7天商品Ctr与weight分布7天CVR与weight分布历史30天商品Ctr与weight分布商品销量档偏好高销量用户无高销量用户购买力档位-商品价格低购买力中购买力高购买力男性女性森系欧美个性化搜索技术和应用公达谢谢！