中国移动大云大数据产品及应用

《中国移动大云大数据产品及应用》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、中国移动大云大数据产品及应用中国移劢“大云“大数据产品及应用BDTC2014徐萌中国移劢苏州研发中心2移动运营商的大数据有什么？移劢互联网服务商电信运营商SNS博客电商视频图片音乐签到问答点评优惠券专业SNS微博消息论坛2G、3G、4G、WIFI新闻地图大数据成为网络优化、业务创新、精准营销和决策支持等工作的基础超过7.3亿用户超过100万基站每分钟超过800万通话每天信令数据超过1PB每秒上网流量超过40GB经分系统数据规模接近10PB3电信运营商发挥管道优势，深入挖掘大数据的价值借助云计算技术和运营商优势，将大数据信息转化为商业价值，促进

2、业务创新1.优化网络质量：利用信令数据支撑终端、网络、业务平台关联分析，优化网络，实现网络价值最大化2.助力市场决策：充分挖掘用户的移动互联网行为特征，提升对用户消费偏好的精准把握，帮助市场营销等决策，实现精准营销。3.改善用户体验：智能语音门户通过知识库和语义搜索技术实现业务知识的机器智能回答分析需求流量分析流量的构成和大趋势分析等用户分析用户兴趣偏好、近期关注、活动范围等流量清单查询为用户提供流量的去向查询等上网日志内容字段网络质量和效率分析网络价值分析业务端到端分析客户感知及行为分析PI网元能力层KPI网络性能层KQI业务质量层QOE客

3、户感知层用户帐号协议类型业务类型访问URL终端信息上行流量下行流量????劣力市场决策优化网络质量改善用户体验4中国移动“大云”大数据产品整体规划平台层应用层数据挖掘及可视化数据采集、存储和处理资源层…经营分析性能分析数据变现流量经营在线服务运营管理系统和运营管理数据安全管理元数据管理数据挖掘BC-PDM搜索引擎BC-SE深度学习平台自然语言处理数据报表可视化服务机器翻译服务图数据库分布式数据库BC-RDB大数据仓库BC-HT大数据平台BC-Hadoop内存数据库图计算流计算BC-Streaming数据智能采集系统任务调度成熟产品新增产品大云

4、大数据产品线为中国移劢大数据应用提供三大领域的基础能力：数据采集和处理、数据挖掘及可视化、运营管理三大领域。5BC-Hadoop：“大云”大数据平台各种不同版本的Hadoop软件目前已经在各个省公司广泛应用，但是由于产品化程度低，存在商业版本不开源、开源版本不统一、运维管理功能弱、多应用混合部署能力不足等问题。BC-Hadoop2.0主要特性1.开源开放：核心系统是CDH5改进版本，代码开放，Patch反馈社区2.管理增强：集成Ambari管理系统，支持BOMC、4A规范（在研），支持puppet自动部署系统3.资源共享：利用YARN提供资源

5、分配和调度方案4.多租户：支持基于用户、队列的Hadoop多租户方案5.可靠性：所有Hadoop组件没有单点问题6.服务化：提供基于BC-EC弹性部署方案，支持弹性MapReduce计算MapReduce/Spark并行计算框架HDFS分布式文件系统HBase分布式NoSQL数据库监控和管理工具Zookeeper、AmabriBC-Hadoop应用，如Hive、BC-HugeTable、BC-PDM、BC-SE等数据查询、分析、挖掘系统6BC-HugeTable：“大云”大数据仓库系统各省帐详单云主要采用开源HBase软件；云ETL主要采用开

6、源Hive软件。难以解决对帐详单做分析，对ETL数据做查询的要求。一般需要建设两套系统，保存两份数据。BC-HugeTable针对同一份数据提供数据查询和数据分析功能。具有独特优势。BC-HugeTable5.1主要特性1.交易和分析一体化：通过集成Hive实现分析查询，集成Impala支持即席查询，研发OLTP引擎支持快速交互查询，实现智能路由。2.高可用：支持BC-Hadoop提供的高可用能力；提高HTLoader的可用性3.高性能：针对复杂索引查询在秒级别返回结果；复杂分析在分钟内完成4.管理增强：支持资源池、运营管理平台集成；支持监控

7、、告警、计量、统计接口；支持SNMP、OMI协议5.兼容性：支持原生MapReduce和NoSQL接口；支持多数SQL92查询；兼容Hive、Impala、HBase数据操作APIHugeTable商用MPP方案单集群规模复用Hadoop能力，支持5000节点规模<300节点SQL兼容性支持主要SQL完全支持响应时间部分SQL比MPP慢，部分相当较短优化能力需要改进较好开放性开源技术，社区非常活跃私有方案Hadoop支持紧密集成将Hadoop作为外部数据源软件举例Impala、Presto、Drill/mDrill、Shark、Spar

8、kSQL等GreenPlum、Redshift、Asterdata、Vertica等适用场景大数据在线分析中小型集市分析7BC-RDB：“大云”分布式关系数据库传统