大数据分析及海量油田数据管理技术

《大数据分析及海量油田数据管理技术》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、大数据分析及海量油田数据管理技术2012年3月29H,美国联邦政府发布公告称将开发“大数据研发项口”，以最大限度地利用规模飞速增长的数字化数据。一石激起千M浪，“大数据”这-并不是非常新的术语再次引起了世界各方的高度重视。而大数据研究的核心并非数据的“量”有多大，而是如何有效、有序、系统地处理(包括访问、收集、保护、存储、管理、分析、挖掘、共享、辅助决策等)大量数据。因此也衍生出一个非常重要的研究领域一大数据分析(BDA)。一、大数据简述有关大数据，0前定义较多。通常来讲，大数据指的是规模超过了当前典型数据库软件工具获取、存储、管理、分析能力的数据集。可

2、以看出，这种描述实际上是一种动态的描述，冈为当前的技术总是在不断发展。严格来说，“大数据”更像是一种策略而非技术，其核心理念就是以一种比以往宥效得多的方式来管理海量数据并从中提取价值。可以从如下4个方面(“4V”)来阐述“大数据”理念。(1)数据类型多样(Variety)。即所处理的对象既包拈结构化数裾，也包拈半结构化数据和非结构化数据。(2)数据处理高速(Velocity)。即各类数据流、信息流以高速产生、传输、处理。(3)数据规模海量(Volume)。即所需收集、存储、分发的数据规模远超传统管理技术的管理能力。(4)数裾价值密度低(Value)。即大

3、数据中的价值密度很低，因此也增加了价值挖掘的难度。由于海量数据中既包拈结构化数据也包拈非结构化数据，因此，分布式计算与分布式文件管理即成为了“大数据”策略的核心。目前有关BDA,尚无明确定义。简而言之，就是将先进的分析技术用于大数据集。因此，BDA主耍关注两方面内容：大数据木身及分析技术本身；如何将二者有机融合，以实现从大数据屮提取有价值的情报并用以辅助决策之目的。具体来说，可用于BDA的分析技术包括了预测分析、数据挖掘、统计分析、复杂结构化杳询语言(SQL)等，以及那些可以支持大数据分析的数裾可视化、人工智能、事实聚类、文木法分析、G然语言处理、数据库

4、等相关技术。可以看ill,大多数BDA技术其实均可归入“发现分析”或“发掘分析”技术的范畴，而发现、发掘情报也是BDA的主要目标之一。可以看出，实际上很多BDA技术并非什么新技术，只是由于其非常适用于“大数据”这一新兴对象，因此重新“焕发青春”。大的数据需要特殊的技术，以有效地处理大量的容忍经过吋间内的数据。适用于大数据的技术，包括大规模并行处理（MPP）数据库，数据挖掘电网，分介式文件系统，分布式数据库，云计算平台，互联网，和可扩展的存储系统。一些但不是所有的MPP的关系数据库的PB的数据存储和管理的能力。隐贪的负载,监控，备份和优化大型数据表的使用在

5、RDBMS的。对于大数据，它也是经常可以创建适用于大多数分析的汇总数据。例如一个计算不同地点车辆数量的交通遥测应用。这中方法可以产生大量的数据，但是如果汇总数据最后一分钟还存储在内存中，最后一小时存储在闪存中，最肜一天存在磁盘上，那么控制应用程序所需的实际时间可以通过快速访问资源得到满足，然而假设分析时我们可以使用一些更便宜、更慢的应用程序是会怎样。SOA都是抽象的，但当抽象隐藏了底层影响性能和响应吋间的复杂性吋，这种杣象的危险程度会提高。数据访问也是这样的，因此SOA架构师需耍认真地考虑抽象与性能之间的平衡关系，并为其特定的业务需求优化它。二、BDA关

6、键技术与工具及其发展趋势2011年，相关机构进行Y“大数据分析工具、技术与趋势”调查。该调查列出了几乎所宥与大数据分析相关的工再与技术，其中包括如卜*几类：新兴的，如云计算、MapReduce,复杂事件处理（CEP）;不是新兴但适用于大数据分析的,如数据可视化、预测分析；已有II比较成熟的，如统计分析、手工编码的SQL。此次调查可相对比较客观地展现BDA关键技术与工具及艽发展趋势。相关技术与工具的当前使用情况及未來发展趋势。可以看出，隶属于第-•组的工具与技术基本上可以代表BDA关键技术与工具的发展趋势，即高级分析技术与工具、高级数据可视化技术（ADV，

7、米来发展势头最为迅猛的技术）、实吋仪表盘、内存内数据库和非结构化数据分析技术等。从功能角度来讲，BDA实现了从大数据到情报（即价值）的转换，而这种转换木身与大数据的“4V”特性分不开。转换过程必须采用各种BDA平台、工具，如阿帕奇Hadoop。Hadoop技术与平台使得大数据分析人员可以对原始数据进行分析，并得到支持决策所需的情报。考虑到大数据的一些新特性，BDA也必须采用一些新的方法和流程来实现情报提取。以利用Ha-doop技术与平台实现BDA为例，典型的BDA实施流程与常用的OODA环（观察、定位、决策、行动）有些类似，包括大数据访闷、大数据聚集、大

8、数据分析决策、行动等环节，且并最终实现人在环路或人不在环路的闭环。从分析对象来看