油田数据融合关键技术研究

《油田数据融合关键技术研究 》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、油田数据融合关键技术研究摘要对于油田信息化建设而言，建立一个高度共享、界面友好、高效运行的数据融合平台有着重要而深远的现实意义。经过深入调研和分析，该文结合国内外数据中心建设的实践经验归纳总结了影响数据融合平台建设成败的五大关键技术因素。并在此基础上，提出了以虚拟数据仓库为核心的油田数据中心系统架构及关键技术路线。关键词虚拟数据仓库；数据中心；联邦；信息门户；元数据1引言随着信息技术的飞速发展，国内外各大石油公司的竞争已经表现在信息技术应用的竞争，都在设法借助信息技术的力量，寻找新的增长点，从石

2、油天然气行业的上、中、下游陆续建立了各类信息系统，历经数十年，投资数十亿美金不等。另一方面，国内大多数油气田，现有的信息系统多为自主开发和部分引进系统。已经完成的各类专业应用软件、专业数据库系统和数据仓库等分别建立在不同的平台上，数据源各异，信息标准不一、相互独立，信息渠道分散并分别集中在不同的层次，相互间难以实现不同层次信息交换；这些系统不仅各自独立，分散，甚至存在某些数据重复建设的情况，数据冗余严重，同一份数据重复出现在多个应用系统中，存在数据不一致的风险。数据中心（数据融合平台）通过将油田

3、各应用系统有机集成和业务重组，最终构建一个统一的、标准的、集成的、能够包容各业务流程的数据中心体系架构和数据交换和共享平台，支持分散的、松藕合的分布式应用集成。大大地避免油田在信息系统方面重复建设，重复投资，为油田节省大量的资金。然而，各大油田对数据融合平台建设目标和建设内容的理解各不相同。所采用的技术也是五花八门，这样实现的数据中心往往运行效率不高、对原有系统改动大（有的甚至直接放弃原系统）、难于推广，这势必会严重影响数据中心的全局应用。在本文中我们试图通过分析影响数据中心建设的若干关键技术因

4、素及解决方案，得到一个具有普遍意义的、先进、高效的数据融合平台架构。2关键技术因素分析2.1如何有效整合大量异构、异平台数据源随着油田信息化建设的深入进行，大量的信息系统被开发并投入运行，由此而产生出了大量的同构异数据库、异构异平台的不同数据源，在这些数据源中有些是结构化的、有些则是文档、曲线数据等非结构化数据，还包括OA、ERP、纸制文档等一大批数据源。如不能有效整合和管理这些数据，将很容易造成数据遗失和管理混乱。然而，如何有效整合如此庞大、复杂的数据源呢？是将所有数据集中到一个大库中统一管理

5、？还是采用分布式技术建立统一访问平台？如何在各数据源的基础上实现综合、分析、挖掘？这些问题都将成为油田数据中心建设所面临的难题。2.2如何为用户提供统一的登录及安全可靠的数据访问平台油田数据中心建设用户提供统一的登录及安全访问的目的是为了解决以下几大问题：（1）各系统之间互不兼容，数据信息不能共享。（2）用户使用不同系统时，需要在不同系统中不停登录切换，效率低下。（3）管理人员需要记忆一大堆的用户名和密码。（4）不同系统需要很多不同专业的人员更新维护，维护成本很高。针对上述问题，目前行业内提出了

6、很多解决方案，但是在实施中如何选择最优的方案以解决面临的诸多难点问题：（1）如何解决灵活性适应性差，花费大量时间建立的信息系统不能适应需求的变化，一旦需求改变，就将不断修改程序甚至全部重建，增加时间和资金投入的问题。（2）如何建立起全局的安全访问目录，为用户提供灵活、方便、安全的数据服务。（3）如何有效集成大量图形、图表工具，为不同角色、管理级别的用户提供直观、灵活的查询界面。（4）个性化服务问题，即为用户定制访问首页及访问内容。2.3如何有效管理元数据元数据的定义一般泛称为：Dataabout

7、data（管理数据的数据）。元数据的具体定义和应用随学科不同和应用领域不同而异。在石油领域，元数据是描述一个具体的油田数据库数据资源对象（数据集或数据），并能对这个对象进行定位管理，且有助于它的发现与获取的数据。从元数据的定义可以看出，所谓元数据就是要定义一种管理数据的格式或数据字典，与此同时数据之间的关联也应定义在元数据中。然而在具体实施中却存在着一系列难点问题需要解决，例如：（1）在石油领域里需要定义怎样的数据格式？（2）元数据的规模有多大？（3）如何将元数据的定义与数据源进行抽取、过滤、转

8、换、映射关联在一起，从而实现元数据定义的自动化？（4）如何为元数据管理提供完整易用的操作界面（甚至是图形化的界面）？2.4如何充分利用企业现有硬、软件资源及网络资源企业现有服务器、网络资源往往得不到充分的利用，如何高效的组织企业现有硬、软件环境为生产应用服务，这也是数据中心建设中急需解决的一大问题。实施中可能遇到的难点问题包括：（1）如何评估企业现有硬件、网络资源的使用效率？（2）如何根据数据中心运行需求来优化配置企业现有资源？（3）网络及硬件设备管理规范。2.5如何从海量数据中整理、挖掘出有价