让海量移动数据产生价值

《让海量移动数据产生价值》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、让海量移动数据产生价值主讲人：叶杰生陈日涵问题背景基于海量的数据如何处理与计算出全面与有价值的结果？数据背景应用数据行为数据位置数据事件数据解决方案1.传统处理方案2.传统方案的结果数据处理3.改进处理方案叶杰生4.改进处理方案的结果1.维数灾难2.降维措施算法设计3.设计陈日涵4.结果传统处理流程123431号号号号号数数数数数x结果库据据据据据1号结2号结3号结4号结31号结果果果果果实例9月1号－9月3号活跃安装实例9月4号－9月11号活跃安装结果IDAppLabelPoint4297＊＊单词应用兴趣/应用类别/教育/0.4外语02

2、010204应用兴趣/应用类别/教育/课4297＊＊＊课堂0.5程管理02010211游戏偏好/游戏类型/角色扮演4297王者＊＊0.4/即时01011002改进流程123431累计数据号号号号号数数数数数x结果库据据据据据9月4号－9月11号9月1号－9月3号结果IDAppLabelPoint4297＊＊单词应用兴趣/应用类别/教育/0.2外语02010204应用兴趣/应用类别/教育/课4297＊＊＊课堂0.3程管理02010211游戏偏好/游戏类型/角色扮演4297王者＊＊0.5/即时01011002算法设计陈日涵目录维数灾难降维未来

3、趋势•高维特征•降维目的•深度学习•特征信息•方法选择•稀疏表达•样本稀缺•方法及框架•模型限制维数灾难DataShortage•ModelRestriction•FeatureUninformativeCategoricaldataOneHotEncodingHighDimensionl目前TalkingData的数据中包含大量的CategoricalDatalOneHotEncoding的做法虽然直观但是会导致很多问题：1、维数灾难2、特征信息量很少，甚至有的可以当作是噪声。3、模型限制降维•增强每维特征包含的信息目的•增加模型选择的

4、灵活性•方便调参•稀疏表达选择•支持大规模•基于MetropolisHashing的WarpLda方法方法•ParameterServer框架方法探讨lLDA（LatentDirichletAllocation）是一种基于贝叶斯框架的生成模型，其目的是学习出隐含在文本中的主题。l将One-Hot-Encoding的特征当作Bag-of-Words，训练出主题，并用主题去代表一个样本的特征，达到降维的目的。lWarpLda是一种基于Metropolis-Hashings的LDA方法，其分步的采样方法，使得WarpLda不仅从理论上降低了采样

5、的复杂度，从工程实现上也降低了在优化LDA时randomaccess的频率。lParameterServer的框架有着较细的通信粒度，且异步更新的方式可以很大程度上提高机器学习算法训练的效率。结果l利用App数据建立模型l300万App、1000个主题、30亿参数TopicApps312＊＊视频:0.12572562428951556＊＊视频:0.11218537337495411＊＊视频:0.10503688525390789优＊:0.10310431425785242芒果＊＊:0.090655374570...72＊＊手机银行:0.3

6、137787934789783＊＊融e联:0.28363210983788834中国＊＊银行:0.07132113645710109＊＊宝钱包:0.05142653696379523＊＊掌上银行:0.04880802485746054...未来趋势DlDeeplearning多基于频率学派的观点l基于梯度的优化效率高l主流模型稀疏性较差DeeplearninglWord2vec:what’snext?TomasMikolov,FacebookSSparsityTHANKS