大数据分析挖掘技术在电商的应用黄晖

《大数据分析挖掘技术在电商的应用黄晖》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、上海天律信息技术有限公司www.tenly.com内容提要•应对大数据：方法与趋势1•大数据分析挖掘技术2•大数据分析与电商应用3上海天律信息技术有限公司www.tenly.com应对大数据-1：公有云阿里云ODPS(OpenDataProcessingService)2010年2月第一版上线集团内部生产机群规模18000台机器单存储和计算机群最大规模5000台机器日均处理3000万个作业请求，20万个计算任务日均读3PB，写1PB数据；日均上传450TB，下载50TB数据服务淘宝、支付宝、阿里金融等多项集团内部业务支持淘宝贷款、数据模型、聚石塔

2、等多款产品目前处于公测阶段，今年2季度正式商用上海天律信息技术有限公司www.tenly.com应对大数据-2：自建分布式平台硬件：PC服务器集群（Google：百万台服务器）软件：Hadoop（分布式操作系统，管理服务器群）HDFS（分布式文件系统）MapReduce（分布式管理系统）Hbase、Cassandra（分布式数据库）Hive(云端数据仓库）Spark（云端内存计算）Markway（分布式分析挖掘）PigLatin（分布式数据处理语言）Chukwa（分布式数据采集）ZooKeeper（分布式协同工作和安全管理）应用：开店、存储、Ema

3、il、OA、ERP、SCM、BI等等www.tenly.com应对大数据-3：虚拟化集群硬件：异构硬件的整合，大型机、小型CRMERP其他系统机、PC机等等软/硬件分离：一个硬件运行多个不同操作系统服务器虚拟化：在一台物理服务器上VHCI创建出多台虚拟服务器系统虚拟化：VPN在一台物理机上同时运行多个操作系统数据库集群：VirtualServer多种或单种关系型数据库集群应用虚拟化：将应用程序与操作系统解耦合，为应用程序提供一个虚拟的运行环境VirtualStorage特点：存储虚拟化、桌面虚拟化、应用虚拟化www.tenly.com应对大数据-

4、4：内存计算1.加速数据访问：比磁盘快1,000,000倍传统数据库磁盘读取：5毫秒内存数据库磁盘读取：5纳秒“到2012年，70%的全球1000强企业会将明系数据导入内存，以提升商务智能应用的性能。”-Gartnerwww.tenly.com二、大数据分析挖掘：马克威分布式算法www.tenly.com1、传统分析挖掘引擎瓶颈：分析挖掘引擎无法应对大规模数据的挑战无法利用多台机器资源计算中…无法分析Internet数据源等待…计算等待计算…数…据源www.tenly.com2、分布式分析挖掘引擎阿里云ODPSHadoop马克威云挖掘

5、引擎分布式数……据源www.tenly.com3、马克威云挖掘系统基于阿里云飞天平台基于Hadoop/MapReduce、支持TB/PB级数据分析挖掘可视化工作流操作模式基于WEB服务的B/S架构运行性能数据量运行时间服务器台数Map数10亿条记录，68个变量25秒-5分钟100台736176亿条记录，68个变量（3T）36秒-30分钟100台11708www.tenly.com马克威云挖掘算法体系上海天律信息技术有限公司www.tenly.com马克威可视化工作流操作界面上海天律信息技术有限公司www.tenly.com4主要客户

6、企业：阿里巴巴、余额宝、中信21世纪、国家电网、中国核电集团、上海宝钢集团、武汉钢铁集团、中国海运集团、中国远洋集团、海南航空、上海电信、中国移动（江苏）、重庆百货、上海广电集团、华氏医药等等政府：国家统计局、国家海关总署、2010上海世博会、中国人民解放军总参谋部、国家水利部、北京市发改委、上海市发改委、北京市统计局、上海市统计局、广州市统计局、福建省统计局、海南省统计局、云南省统计局、上海市公安局、上海市卫生局、上海市信访办、上海嘉定区政府、上海静安区商委等等高校：华中科技大学、南京财大、中南大学、江西财大、上海金融学院、上海中医药大学、中央民族

7、大学、新疆财大、解放军信息工程大学、东华大学、南京林业大学、山东曲阜师大、成都信息工程大学、哈尔滨理工大学、青岛理工大学、天津商业大学等等上海天律信息技术有限公司www.tenly.com三、大数据挖掘技术在电商的应用总量与构成描述统计、频率分析、趋势变化时间序列、小波理论、比较关联分析聚类、回归、二值逻辑、关联规则、决策树预测预警神经网络、支持向量机、面板模型、贝叶斯网络上海天律信息技术有限公司www.tenly.com3.1总量与构成客户构成：地区、购买金额、频次、客单价总销量构成：品类数量结构量与销售额构成：收入与品类贡献占比

8、构利润构成：商品、客户对利润的贡献率成点击率和转化率：点击客户数，转化客户数上海天律信息技术有限公司w