简析大数据及其处理分析流程

《简析大数据及其处理分析流程》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、空间数据库期末考察报告《简析大数据及其处理分析流程》学院：国土资源工程学院班级：测绘121姓名：王易豪学号：201210102179任课教师：李刚昆明理工大学简析大数据及其处理分析流程【摘要】大数据的规模和复杂度的增长超出了计算机软硬件能力增长的摩尔定律，对现有的IT架构以及计算能力带来了极大挑战，也为人们深度挖掘和充分利用大数据的大价值带来了巨大机遇。本文从大数据的概念特征、处理分析流程、大数据时代面临的挑战三个方面进行详细阐述，分析了大数据的产生背景，简述了大数据的基本概念。【关键词】大数据；数据处理技术；数据分析引言大数据时代已经到来，而且数据量的增长趋势明显

2、。据统计仅在2011年，全球数据增量就达到了1.8ZB（即1.8万亿GB）[1]，相当于全世界每个人产生200GB以上的数据，这些数据每天还在不断地产生。而在中国，2013年中国产生的数据总量超过0.8ZB（相当于8亿TB），是2012年所产生的数据总量的2倍，相当于2009年全球的数据总量[2]。2014年中国所产生的数据则相当于2012年产生数据总量的10倍，即超过8ZB，而全球产生的数据总量将超40ZB。数据量的爆发式增长督促我们快速迈入大数据时代。全球知名的咨询公司麦肯锡(McKinsey)2011年6月份发布了一份关于大数据的详尽报告“Bigdata：Th

3、enextfrontierforinnovation，competition，andproductivity”[3]，对大数据的影响、关键技术和应用领域等都进行了详尽的分析。进入2012年以来，大数据的关注度与日俱增。处于发展中国家前列的中国，大数据的应用处于起步阶段。在工信部发布的物联网“十二五”规划[4]中，把信息处理技术作为４项关键技术创新工程之一提出，其中包括了海量数据存储、数据挖掘、图像视频智能分析，这都是大数据的重要组成部分。而另外３项：信息感知技术、信息传输技术、信息安全技术，也与“大数据”密切相关。由此可见，大数据的发展已经得到了世界范围内的广泛关注

4、，发展趋势势不可挡。如何将巨大的原始数据进行有效地利用和分析，使之转变成可以被利用的知识和价值，解决日常生活和工作中的难题，成为国内外共同关注的重要课题，同时也是大数据最重要的研发意义所在。1大数据的概念数据发展历程上出现过类似的术语有超大规模数据、海量数据等。“超大规模”一般表示对应GB（1GB＝1024MB）级别的数据，“海量”一般表示的是TB（1TB＝1024GB）级的数据，而现在的“大数据”则是PB（1PB＝1024TB）、EB（1EB＝1024PB）、甚至ZB（1ZB＝1024EB）级别以上的数据。2013年Gartner预测世界上存储的数据将达到1.2Z

5、B，如果将这些数据刻录到CD-R只读光盘上，并堆起来，其高度将是地球到月球距离的5倍[5]。不同规模的背后隐含的是不同的技术问题或挑战性研究难题。１．１　大数据的产生在科学研究（天文学、生物学、高能物理等）[6]、计算机仿真、互联网应用、电子商务等领域，数据量呈现快速增长的趋势．美国互联网数据中心（IDC）指出，互联网上的数据每年将增长50％以上，每2年便将翻一番，而目前世界上90％以上的数据是最近几年才产生的。数据并非单纯指人们在互联网上发布的信息，全世界的工业设备、汽车、电表上有着无数的数码传感器，随时测量和传递有关位置、运动、震动、温度、湿度乃至空气中化学物质

6、的变化等也产生了海量的数据信息。１．２　大数据概念的提出１９８９年，GartnerGroup的HowardDresner首次提出“商业智能”（Bussiness　intelligence）这一术语[7]。商业智能通常被理解为企业中现有的数据转化为知识、帮助企业做出明智的业务经营决策的工具，主要目标是将企业所掌握的的信息转换成竞争优势，提高企业决策能力、决策效率、决策准确性。为了将数据转化为知识，需要利用数据仓库、联机分析处理（OLAP）工具和数据挖掘（Data　Mining）等技术[8]。随着互联网络的发展，企业收集到的数据越来越多、数据结构越来越复杂，一般的数据挖

7、掘技术已经不能满足大型企业的需要，这就使得企业在收集数据之余，也开始有意识的寻求新的方法来解决大量数据无法存储和处理分析的问题。由此，IT界诞生了一个新的名词———“大数据”。根据维基百科的定义，“大数据”（BigData）指所涉及的资料量规模巨大到无法透过目前主流软件工具，在合理时间内达到撷取、管理、处理、并整理成为帮助企业经营决策更积极目的的资讯。关于数据量达到多少可以叫大数据，目前尚无统一说法。通常认为，大数据一般应在10TB~1PB（P为T的1024倍）以上。１．３　大数据的特征在日新月异的ＩＴ业界，各个企业对大数据都有着自己不同的解读．但大家都普遍认为