r语言在电子商务领域的应用

《r语言在电子商务领域的应用》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、.R语言在电子商务领域的应用.刘思喆数据部推荐系统2014年5月25日............................................................刘思喆(京东)7thChinaR2014年5月25日1/21为什么选择R目录推荐系统1.为什么选择R2.R的大数据应用方案3.R应用的技术架构4.应用案例............................................................刘思喆(京东)7thChinaR201

2、4年5月25日2/21为什么选择R使用R语言的背景•京东业务涉及用户、商品、商家、促销、反作弊、风险控制、精准营销、运营优化等•2012年正式启动了大数据平台的搭建，平台底层数据存储和离线运算由hadoop完成............................................................刘思喆(京东)7thChinaR2014年5月25日3/21为什么选择R建模环境简述.数据情况：.•客户维度：亿级->千万级•商品维度：千万级->百万级•数据量：M-G级.

3、.分析场景：.1.探索分析：均值、方差、分位数、列联表2.基础分析：如假设检验、相关分析、主成分（因子）分析3.挖掘模型：回归、kmeans聚类、决策树、关联规则、时序等4.可视化图形：条图、直方图、概率密度图、定制化图形5.重复性分析：.............................................................刘思喆(京东)7thChinaR2014年5月25日4/21为什么选择R从R的角度来看•数据挖掘领域应用最广泛的软件和语言（KDnuggets

4、2012,2013）•完整且丰富的统计、机器学习、可视化平台•数据编程的完美实现•便捷的、可扩展的并行方案（如同hadoop）............................................................刘思喆(京东)7thChinaR2014年5月25日5/21R的大数据应用方案目录推荐系统1.为什么选择R2.R的大数据应用方案3.R应用的技术架构4.应用案例................................................

5、............刘思喆(京东)7thChinaR2014年5月25日6/21R的大数据应用方案大数据的解决方案Solution1:R同一些特定领域的工具的结合(e.gMapReducestyletools,Hadoop,Streaming,Hive,Pig,Cascading...)R+Hadooprhbase,rmr,rhdfs,RHIPER+MongoDBRMongo,rmongodbR+MPIRmpi,pbdMPI,snow,snowfallR+GPUgputools,HiPLARM

6、Solution2:通过扩展包，增强读取和处理大数据的能力(e.gbigmemory,ff,biglm...)ffoffersfile-basedaccesstodatasetsthataretoolargetobeloadedintomemorybiglarscanusethefftosupportlarge-than-memorydatasetsforleast-angleregression,lassoandstepwiseregression.bigrfaRandomForestsimplement

7、ationwithsupportforparellelexecutionandlargememory.............................................................刘思喆(京东)7thChinaR2014年5月25日7/21R的大数据应用方案实际应用方案包或支持运行环境优势劣势BLAS单机直接并行化只针对于数学计算有效parallel单机轻量级fork方式snow，snowfall集群易部署socketRmpi集群较成熟(未采用)Rhado

8、op集群同现有环境匹配依然有一定开发量还有一种方式：使用R生成规则，在hadoop平台做并行............................................................刘思喆(京东)7thChinaR2014年5月25日8/21R应用的技术架构目录推荐系统1.为什么选择R2.R的大数据应用方案3.R应用的技术架构4.应用案例..........................................................