大数据分析的时代.pdf

《大数据分析的时代.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、大数据分析的时代+当数据以成百上千TB不断增长的时候，我们需要一种独特技术来应对这种前所未有的挑战。c%全球各行各业的组织机构已经意识到，最准确的商务决策来自于事实，而不是凭空臆想。这也就意味着，他们需要在内部交易系统的历史信息之外，采用基于数据分析的决策模型和技术支持。互联网点击数据、传感数据、日志文件、具有丰富地理空间信息的移动数据和涉及网络的各类评论，成为了海量信息的多种形式。何谓大数据？5F3k;i:O2R,Q2?(G.i+H大数据，也就是国外常说的BigData。大数据概括成了三个V，即大量化（Volume）、多样

2、化（Variety）和快速化（Velocity）。这些特点也反映了大数据所潜藏的价值（Value），我们也可以认为，四个V高度概括了大数据的基本特征。业界比较一致对大数据的定义是：大数据是指无法在一定时间内用常规软件工具对其内容进行抓取、管理和处理的数据集合。极具挑战性的是，传统的数据库部署不能处理数TB数据，也不能很好的支持高级别的数据分析。在几年中，Hadoop平台和列存储数据库开启了新一轮数据分析史上的革命。而且近年来技术不断发展，我们开始看到，技术升级带来的已知架构之间的界限变得更加模糊。更为重要的是，开始逐步出现了

3、处理半结构化和非结构化信息的NoSQL等平台。大数据分析的时代本文中，我们将向大家介绍迄今为止，包括EMC的Greenplum、Hadoop和MapReduce等提供大数据分析的产品。此外，惠普前段时间收购实时分析平台Vertica数据仓库分析工具等。下面，就让我们来了解业界大数据分析的这些产品：1、模块化EMCAppliance处理多种数据类型7B%f5d!N7S'u+B8p2010年EMC收购了Greenplum，随后，利用EMC自身存储硬件和支持复制与备份功能的Greenplum大规模并行处理（MPP）数据库，推出了E

4、MCGreenplumDataComputingAppliance(DCA)。通过与SAS和MapR等合作伙伴，DCA扩大了对Greenplum的数据库支持。&X%J!~)Z5E$`5["]7b#j支持大数据分析的EMCAppliance今年5月，EMC推出了自己的Hadoop软件工具，而且该公司还承诺，今年秋季发布的模块化DCA将支持GreenplumSQL/关系型数据库，Hadoop部署也能在同样的设备上得到支持。借助Hadoop，EMC能够解决诸如网络点击数据、非结构数据等真正大数据分析的困难。模块化的DCA也能够

5、在同样的设备上支持长期保留的高容量的存储模块，从而满足监测需求。相对来说，EMC的重点在利用Greenplum平台推进自身存储硬件的销售，在Greenplum平台的演进过程中，逐步发现MPP架构的局限性，通过引入Hadoop的MapReduce架构，顺利解决了超大规模数据的处理的问题。2、Hadoop和MapReduce提炼大数据Hadoop是一个开放源码的分布式数据处理系统架构，主要面向存储和处理结构化、半结构化或非结构化、真正意义上的大数据（通常成百上千的TB甚至PB级别数据）应用。网络点击和社交媒体分析应用，正在极大地

6、推动应用需求。Hadoop提供的MapReduce（和其他一些环境）是处理大数据集理想解决方案。MapReduce能将大数据问题分解成多个子问题，将它们分配到成百上千个处理节点之上，然后将结果汇集到一个小数据集当中，从而更容易分析得出最后的结果。y4X#i)~3}5QP.p5j;m9g)Sx#i-p,E6X![M1v&@:qMapReduce结构图Hadoop可以运行在低成本的硬件产品之上，通过扩展可以成为商业存储和数据分析的替代方案。它已经成为很多互联网巨头，比如AOL、eHarmony（美国在线约会网站）、易趣、Face

7、book、Twitter和Netflix大数据分析的主要解决方案。也有更多传统的巨头公司比如摩根大通银行，也正在考虑采用这一解决方案。3、惠普Vertica电子商务分析(V,g)P"o,M,K;r6q-

8、q#Q,M今年二月被惠普收购的Vertica，是能提供高效数据存储和快速查询的列存储数据库实时分析平台。相比传统的关系数据库，更低的维护和运营成本，就可以获得更快速的部署、运行和维护。该数据库还支持大规模并行处理（MPP）。在收购之后，惠普随即推出了基于x86硬件的HPVertica。通过MPP的扩展性可以让Vertica为

9、高端数字营销、电子商务客户（比如AOL、Twitter、Groupon）提供数据处理服务。$_/`/v)Z"_3Z"h.H惠普Vertica实时分析平台其实，早在惠普收购之前，Vertica就推出有包括内存、闪存快速分析等一系列创新产品。它是首个新增Hadoop链接支持客户管理关系型数据的