网易视频云：个性化搜索技术与应用.docx

《网易视频云：个性化搜索技术与应用.docx》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、文档网易视频云：个性化搜索技术与应用网易视频云是网易倾力打造的一款基于云计算的分布式多媒体处理集群和专业音视频技术，为客户提供稳定流畅、低时延、高并发的视频直播、录制、存储、转码及点播等音视频的PASS服务。在线教育、远程医疗、娱乐秀场、在线金融等各行业及企业用户只需经过简单的开发即可打造在线音视频平台。现在，网易视频云与大家分享一下个性化搜索技术与应用。一 什么是个性化搜索个性化搜索简单点说，就是在搜索过程中融入个性化元素，具体过程是指在搜索引擎中，根据用户个性化特征，进行二次排序或融合相关物品的搜

2、索过程；目的是抓住用户口味偏好，缩短用户筛选时间和消费路径。一方面从用户角度来讲，每个人的喜好不一样，需要分析用户偏好。比如价格偏好、类目偏好、品质偏好等等；另一方面，从搜索的角度来讲，搜索系统有两件事情可以做：首先挖掘用户的个性化需求，明确消费指向；其次是对商品的特征抽取。这两件事情做好后，当客户搜索时，系统需要把符合他消费习惯的产品尽量往前排。二 个性化搜索在淘宝中应用 淘宝上用户的注册信息，浏览行为，购买行为非常丰富，搜索的结果中加入了个性化的因素，不同的买家，由于以前的购买或者浏览行为不一样，

3、看到的搜索结果也可能不一样。6/6文档个性化模型根据用户的个性化偏好、物品特征以及卖家特征，做出二次排序模型，然后再展示给用户；搜索结果和营销资源等方面的充分应用，目标是让消费者看到和他最相关的商品展现，最终实现千人千面的淘宝。比如下图中，搜索购买T恤时，对于中档购买力的用户，左图高中低价格都有，用户需要仔细再筛选辨认下，而右图主要是中等价位，而且拍在前面，用户很容易选择，这就是在价位上的个性化排序搜索。三 构建个性化搜索系统想要顺利地构建个性化搜索系统，需要先明晰系统的核心关键点，然后据此逐步进行用

4、户和物品特征建模、建立个性化化模型、线上二次排序，最后把最终结果展示给用户。1个性化搜索系统的关键点（1）用户个性化特征：一方面是，用户的客观特征，比如性格，年龄；另一方面是，根据用户历史行为，比如浏览、购买等，抽象出来的用户偏好特征，比如风格偏好，价格偏好，品牌偏好。（2）物品特征：一方面是物品的客观特征，比如品牌，类目，关键词；另一方面是，物品的随行就市以及随之变化的特征，比如折扣，销量（3）二次排序：原始搜索结果特征与用户个性化特征匹配，对搜索结果重新打分、排序，然后，尽可能地展示出符合用户偏好

5、的搜索结果。（4）融合：一种是，协同搜索；搜索凉鞋，如果用户刚买红色连衣裙，这种情况下推送买红色连衣裙的用户也买的凉鞋。另外一种是，在搜索结果中，展示不完全符合搜索意图，但是符合用户偏好特征，并与搜索意图相关的物品。2用户特征建模和物品特征建模6/6文档用户特征建模就是挖掘用户个性化特征的过程；根据用户的历史行为，分析用户的个性化偏好特征，比如上文提到的风格偏好，价格偏好，品牌偏好。物品特征建模就是挖掘物品特征的过程。3建立个性化模型（1）特征匹配特征匹配是最简单，易实现的个性化模型；特征匹配在原qu

6、ery搜索结果的基础上，用户个性化偏好特征，匹配（搜索结果中的）物品特征，然后进行加权排序。（2）协同搜索协调搜索是根据用户的购买，浏览等消费行为，利用经典的协同过滤算法，离线推荐用户可能喜欢的其他物品，简单的算法原理见下图：“买了又买”、“看了又看”是Itembased协同过滤算法最简白的描述（另外，还有Userbased协同过滤算法，原理类似），其算法核心是计算物品的的相似度，相似度算法有余弦相似度、Pearson相似度、Jaccard相似度等。协同推荐的结果可以在搜索结果中融合展示，也可以对搜索

7、出的结果匹配加权展示。（3）模型训练个性化模型训练是在原搜索点击率预估模型的基础上，加入用户特征，将模型目标，确定为搜索系统目标的二分类问题，通过对历史样本数据的训练学习，从而对新样本进行准确预测。模型训练的结果可以是用户搜索转换的概率，也可以是特征匹配，协同搜索时的加权权重。4线上二次排序线上二次排序是搜索结果展示给用户的最后一步，一般是在线上处理，需要实现的工作有：特征匹配加权重排序、协同推荐结果融合、协同推荐加权二次排序以及模型结果融合。综上，个性化搜索系统的整体架构如下:6/6文档  四 同城

8、约会个性化搜索系统案例同城约会是网易公司旗下婚恋交友,专为单身男女白领提供征婚交友服务平台。同城约会的个性化搜索系统在“找缘分”下的“搜索会员”界面，默认排序的方式就是个性化搜索的结果。同城约会的个性化搜索系统架构见下图：1数据源6/6文档系统的数据源为数据库mysql和客户端的行为action日志；数据库数据可以通过猛犸导出到hdfs，日志可以通过datastream分发到hdfs；之后的离线计算可以在hadoop集群上处理。2同城约会中的用户特征，同