基于云计算的大数据处理与分析综述

《基于云计算的大数据处理与分析综述》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、基于云计算的大数据处理与分析综述　　摘要：随着社交媒体、物联网和多媒体技术发展，人类可以获得的数据呈爆炸式增长。由于数据太大，数据的处理和转移变得十分困难。云计算能按需分配计算资源，是一种很好的大数据解决方案。提出了一种基于云计算平台方法，以较小的代价对大数据进行分析和知识发现。　　关键词：大数据；云计算；数据挖据；分布式计算　　DOIDOI：10.11907/rjdk.162111　　中图分类号：TP301　　文献标识码：A文章编号：1672-7800（2016）012-0161-03　　0引言　　过去40年，数据主要用于记录商业活

2、动和进行科学处理。未来40年，数据将用来辅助商业决定和加速科学发现。新的社交方式产生，人们获得的数据呈爆炸式增长，人类进入大数据时代。麦肯锡[1]指出大数据是一种很大的数据集，这种数据集的大小超出了传统的数据库软件捕获、存储、管理和分析能力。大数据的出现推动了大数据技术的发展。国际数据公司（IDC）[2]对大数据技术的定义是：新一代的技术和体系结构，用来处理容量大、种类多的数据，通过高速捕获、发现和分析数据，获得有价值的信息。大数据知识发现如图1所示。　　O'Reilly8国际出版公司[3]认为，大数据是超出了传统数据库系统处理能力的

3、数据。为了从大数据中挖掘出有价值的信息，必须采取一种与传统数据处理方式不同的方法。《大数据发展白皮书》讨论了如何将不完整的、复杂的和非结构化的数据转化为可操作的数据。这意味着要借助高级计算工具（如机器学习），才能发现在大数据中隐藏的规律和关联关系。　　大数据极大推动了云计算和物联网的发展。印度学者认为，大数据将大大促进印度生产率的提高，因为它不仅影响软件行业，还将影响公共服务行业，如健康、行政和教育等各行业。据麦肯锡全球研究院估计，全球产生的数据每年以40%的速率递增，到2020年，数据量将是2009年的44倍。这些数据来自于传感器收

4、集到的天气数据、社交媒体上的各种帖子、数字照片和视频、商业交易记录、移动电话的GPS信息等。大多数这样的数据处于一种无序状态。　　大数据超出了传统数据存储与分析系统的容量和能力，必须寻找新的解决方案。综合利用高性能计算技术、高级数据库技术、无线数据技术、移动互联技术，为大数据提供了一些有益的解决方案。企业进行大数据分析，期望从中发现隐含的商业价值，以便更好地提高产品和服务质量。数据存储技术的发展使得数据存储费用大大降低，云计算使得巨大的计算能力变得更容易获得，数据管理技术也更加灵活多样，如NoSQL、NewSQL、Hadoop、图形数

5、据库等，这些都为大数据分析提供了充分的技术支持。　　最近一份研究表明，非结构化数据已占世界数据量的80%，但实际情况是许多公司依然只利用那些存储在关系数据库中20%的结构化数据来进行数据挖掘和决策支持。　　1大数据　　大数据最重要的价值在于发现其中隐含的可以重复利用的商业模式。8　　1.1大数据分类　　大数据通常分为以下3类：　　（1）结构化数据：这种数据一般存放在企业或各种机构的数据库、数据仓库中。　　（2）非结构化数据：这种数据一般是从基于Internet的应用中抽取出来的数据，是没有经过处理的原始数据，没有统一的数据格式。　　（

6、3）半结构化数据：这种数据通常出现在结构化数据和非结构化数据相遇场合，如社交媒体数据、位置数据等。　　1.2大数据主要特征　　大数据具4V特性：数据体量大（volume）、数据的多样性（variety）、数据的速度（velocity）和数据的真实性（veracity），如图2所示。　　（1）体量：从各种来源收集的数据体量巨大，并且持续增长。　　（2）速度：指数据转移的速度。对于时间敏感的数据处理，如发现诈骗，大数据必须及时导入到相应的企业和机构，以便最大化地发现其中的规律。　　（3）多样性：大数据包括各种结构化、非结构化和半结构化数据

7、，如文本、传感器数据、音频、视频、点击流和日志数据等。　　（4）真实性：1/3的商业领导不相信他们用于决策的数据。数据的种类和来源增加，使得数据的真实性受到怀疑。　　2大数据应用领域8　　将传统的企业内部数据和外部收集的大数据相结合进行分析和挖掘，能得出对企业更有价值的商业信息。　　2.1顾客大数据分析　　顾客分析是大数据应用十分流行的领域。顾客分析的数据一部分来自外部的社交媒体，如博客、推特、微信等，另一部分来自企业内部业务数据，如顾客和产品数据。通过对这些数据进行分析和处理，能知道企业的潜在顾客，对公司及产品有怎样的评论和期待，藉

8、此调整商业行为，对产品进行修改。例如：通过对最近发行的产品反馈数据进行处理和挖掘，能了解顾客反映，发现产品缺点，及时对市场进行调整，从而使企业更具竞争力。　　2.2传感大数据分析　　在制造类企业中，传感器、遥测器和条形码