用户画像–大数据时代下的用户洞察

《用户画像–大数据时代下的用户洞察》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、用户画像–大数据时代下的用户洞察刘黎春SNG运营部/数据中心May2015目录1用户画像体系2挑战及解决方案3用户画像挖掘举例4用户画像应用场景SNG数据现状人口属性年龄性别地域家乡移动互联网关系链LBS•QQQQ群手机APPQQ关系链•月活跃8.4亿+移动设备手Q游戏•最高同时在线2亿+数据现状•QQ空间社交&音乐游戏•月活跃6.5亿+说说端游相册页游QQ音乐手游增值业务QQ会员黄钻绿钻QQ秀用户画像体系用户画像主要挑战1.如何充分利用腾讯各种丰富的数据资源及之间的联系社交网络LBS日志用户群组多媒体数据UGC文本登录IP2.

2、如何使用户画像适应各种不同的应用场景广告推荐市场信用定向系统营销评分3.如何高效的处理海量的用户数据（超过10亿的QQ用户，超过千亿级别的各类日志数据）用户画像解决方案1.针对不同的底层数据类型设计特定的挖掘算法，挖掘用户的行为特征，形成底层标签。综合考虑不同数据来源的，形成更上层的抽象用户标签2.建立完善的用户画像标签体系结构，从不同维度、粒度对用户进行描述。3.搭建用户画像挖掘系统，基于大规模存储和机器学习计算平台，定期对全量用户数据进行计算和挖掘，并提供用户标签的使用和查询服务。用户画像挖掘的基本框架单一数据源挖掘社交网络底层标签底层标签结构数据统计底层标签底层

3、标签底层标签文本分类标签在社交网络中的扩散社交网络分析底层标签高层标签数据源LBS数据挖掘底层标签从底层标签挖掘高层标签……文本挖掘系统文本预处理特征提取文本分类QQ群•tf-idf•logisticregression•中文分词•LDA•KernelSVM•token抽取•word2vec•NeuralNetworks针对短文本特点，利用LDA利用非线性分类器对神经网络QQ空间与word2vec进行语义扩展得到的特征向量进行分类……基于LBS数据的用户画像挖掘•POI类型•居住•登陆次数•工作•时间段分布•餐饮•天数分布•购物数据清洗LBS位置与用户-POI用户LB

4、S海量用户与汇总POI匹配场景判断标签挖掘上报LBS日志工作程序员社交网络与用户画像用户在社交网络中的行为反应出现实生活中的某些特质：局部聚类系数：反映用户与好友关系的稳定性(localclustering及QQ用户交友的主要目的coefficient)1社团影响力2反映用户在社交网络中人脉的PageRank得分3丰富程度或重要性…根据用户间的重要利用Pagerank算法对有向图程度，将无向图转中的所有节点进行排序，得化为有向有权重的到不同节点的影响力得分好友关系图基于社交网络的标签扩散算法改进：算法应用：好友关系•好友关系类型对传•用户基础属性优化网络下的播的影响，

5、如年龄标签传播•好友关系的稳定性•用户属性扩散，如对传播的影响职业、学校等算法改进：算法应用：群-用户二•针对QQ群的特殊场•用户属性扩散，如部图下的景设计标签传播算职业、学校等标签传播法，提升传播效率•用户兴趣扩散，如和准确度文艺、体育等不同数据源的融合–职业挖掘存在问题：加入群只思路1：根据用户加能反专业业相关兴趣入的QQ群文本及其，与职业并无绝对关他UGC进行文本分类系思路2：判断用户工存在问题：同一工作作地点，并根据工作地点可能存在多种不地点推测用户行业同工作行业如何判断一个用户工作所在的行业思路3：利用同事间存在问题：好友关系好友关系网络进行行类型比较复杂，

6、无法业标签传播确定是否为同事不同数据源的融合–职业挖掘名称、简介、公告等群文本分类工作地点根据工作社团的特殊性，将部分用户的行业标签扩散给全体社IT行业金融行业LBS数据挖掘团成员CommunityDetection(FastGreedy算法)该地点工作的用户及社交网络工作社团1工作社团2计算平台与系统部署标签应用层TDW离线查询HBase实时查询（理论峰值40w/s）标签汇总层不同算法、数据来源得到标签进行汇总无监督模型：半监督模型：监督模型：LR,Kernel模型训练word2vec,标签传播SVM,RandomForestLDA，社区发现与预测层基于Hadoop

7、，Spark和GraphLab等计算平台数据处理层结构化数据统计文本分词LBS与POI匹配原始相册说说APP文本群文本操作行为关系链LBS数据外部数据数据层TDW数据仓库用户画像应用–广点通定向投放用户画像应用–腾讯征信偿还网络历史支付履约信用社交虚拟能力金融账户关系社交财产数据模型数据模型身份第三方腾讯系行为特质信息用户资料(通讯/娱乐)数据银行ￜ机器学习ￜ用户画像ￜ统计学谢谢！