运营商大数据应用解决方案

《运营商大数据应用解决方案》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、运营商大数据应用解决方案36/36目录1.大数据概述41.1.概述41.2.大数据定义41.3.大数据技术发展62.大数据应用92.1.大数据应用阐述92.2.大数据应用架构112.3.大数据行业应用112.3.1.医疗行业112.3.2.能源行业122.3.3.通信行业122.3.4.零售业133.大数据解决方案143.1.大数据技术组成143.1.1.分析技术143.1.1.1.可视化分析143.1.1.2.数据挖掘算法143.1.1.3.预测分析能力143.1.1.4.语义引擎143.1.1.5.数据质量和数据管理153.1.2.存储数据库153.1.3.分布式计算技术163.

2、2.大数据处理过程183.2.1.采集183.2.2.导入/预处理193.2.3.统计/分析193.2.4.挖掘193.3.大数据处理的核心技术-Hadoop193.3.1.Hadoop的组成203.3.2.Hadoop的优点：233.3.2.1.高可靠性。233.3.2.2.高扩展性。233.3.2.3.高效性。233.3.2.4.高容错性。233.3.3.Hadoop的不足233.3.4.主要商业性“大数据”处理方案243.3.2.5.IBMInfoSphere大数据分析平台243.3.2.6.OracleBigDataApplianc253.3.2.7.MicrosoftSQL

3、Server253.3.2.8.SybaseIQ2636/363.3.5.其他“大数据”解决方案263.3.2.9.EMC263.3.2.10.BigQuery273.3.6.大数据”与科技文献信息处理273.4.大数据处理技术发展前景273.4.1.大数据复杂度降低273.4.2.大数据细分市场283.4.3.大数据开源283.4.4.Hadoop将加速发展283.4.5.打包的大数据行业分析应用283.4.6.大数据分析的革命性方法出现293.4.7.大数据与云计算:深度融合293.4.8.大数据一体机陆续发布294.基于基站大数据应用及案例304.1.气象灾害应急短信发布平台3

4、04.1.1.概述304.1.1.1.项目背景304.1.1.2.平台概述304.1.2.平台建设特点与原则304.1.2.1.建设特点304.1.2.2.建设原则304.1.2.3.大数据管理平台特点314.1.3.平台整体架构314.1.3.1.建设原理314.1.3.2.平台总体设计331.平台总体结构334.1.3.3.平台技术思路344.2.旅游客源分析344.2.1.整体方案344.2.1.1.方案思路344.2.1.2.系统架构3536/361.大数据概述1.1.概述大数据，IT行业的又一次技术变革，大数据的浪潮汹涌而至，对国家治理、企业决策和个人生活都在产生深远的影响

5、，并将成为云计算、物联网之后信息技术产业领域又一重大创新变革。未来的十年将是一个“大数据”引领的智慧科技的时代、随着社交网络的逐渐成熟，移动带宽迅速提升、云计算、物联网应用更加丰富、更多的传感设备、移动终端接入到网络，由此而产生的数据及增长速度将比历史上的任何时期都要多、都要快。数据技术发展历史如图一所示：图一1.2.大数据定义“大数据”是一个涵盖多种技术的概念，简单地说，是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。IBM将“大数据”理念定义为4个V，即大量化(Volume)、多样化(Variety)、快速化(Velocity)及由此产生的价值(Valu

6、e)。如图二;36/36图二要理解大数据这一概念，首先要从"大"入手，"大"是指数据规模，大数据一般指在10TB(1TB=1024GB)规模以上的数据量。大数据同过去的海量数据有所区别，其基本特征可以用4个V来总结(Vol-ume、Variety、Value和Veloc-ity)，即体量大、多样性、价值密度低、速度快。Ø数据体量巨大。从TB级别，跃升到PB级别。Ø数据类型繁多，如前文提到的网络日志、视频、图片、地理位置信息，等等。Ø价值密度低。以视频为例，连续不间断监控过程中，可能有用的数据仅仅有一两秒。Ø处理速度快。1秒定律。最后这一点也是和传统的数据挖掘技术有着本质的不同。物联网

7、、云计算、移动互联网、车联网、手机、平板电脑、PC以及遍布地球各个角落的各种各样的传感器，无一不是数据来源或者承载的方式。大数据技术是指从各种各样类型的巨量数据中，快速获得有价值信息的技术。解决大数据问题的核心是大数据技术。目前所说的"大数据"不仅指数据本身的规模，也包括采集数据的工具、平台和数据分析系统。大数据研发目的是发展大数据技术并将其应用到相关领域，通过解决巨量数据处理问题促进其突破性发展。因此，大数据时代带来的挑战不仅体现在如何处理巨量数据从中获