装备保障异构大数据统一访问与转换平台的构建

《装备保障异构大数据统一访问与转换平台的构建》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、装备保障异构大数据统一访问与转换平台的构建在大数据背景下，针对装备保障业务信息系统综合集成中异构数据统一访问和转换处理需求，拟采用基于SDO和MDA的系统技术架构、基于DAS的异构大数据统一访问数据结构、基于MapReduce的数据转换架构和基于HBase的开源分布式NoSQL数据库等云中大数据关键技术，研制具有自主知识产权的装备保障异构大数据统一访问与转换平台，以达到为装备保障业务信息系统综合集成提供统一格式的数据支撑架构的目的。1研究背景近年来，随着信息系统集成理念和技术的发展，数据集成或数据统一访问作为一种资源整合方式受到了

2、相关部门的高度重视。在我军装备保障信息化建设的过程中，各个业务口分别建立了能够满足自身业务需求的信息系统和相应的数据库生成TB级的数据。数据多种多样，数据类型也有所不同，它们大多存在于不同的硬件和软件环境中，常常以不同的格式存储和表现出来。由于这些数据源的差异较大，数据量庞大，所以，统一处理和分析这些数据成为了装备保障业务信息系统研制和综合集成过程中需要面对的首要问题。通过一个集成系统整合装备保障领域内的异构数据源，提高资源的利用效率，为装备保障业务信息综合集成、信息资源共享和应用提供有效的数据支持，是现代信息系统建设面临的巨大挑

3、战之一。2国内外研究现状2.1研究现状经过20多年的发展，已经有诸多理论支持信息数据统一访问工作的实施，研发出了相应的技术，相关研究者也提出了有关数据访问的体系结构和实现方案。因此，从模型上看，数据访问体系可分为联邦方式、数据仓库和中间件方式;从集成技术上分，异构数据库集成技术主要包括数据的迁移和转换、多数据库系统和使用中间件。综合国内外成功的应用案例可知，采用中间件方式最稳妥、最实用，性价比也最高。目前，对通用数据统一访问和转换平台的研究尚处于起步阶段，国外一些著名的数据库公司开发出了相应的中间件产品用于解决异构数据集成问题。要

4、想广泛使用这些中间件产品，就需要开发大量的数据接口，但是，它们并不能满足我军装备保障领域的数据需求和安全保密要求，而且国内和军内对其的研究甚少，也没有与之相配套的产品。2.2技术途径选择目前，实现大数据共享的途径有2种，即数据转换和数据集成。第一种途径是物理意义上的数据集中，它不仅需要在硬件和相关软件上投入较多的资金，而且海量数据迁移和管理也有相当大的风险，访问速度可能不理想;第二种途径属于逻辑集中，它能充分利用现有系统分布存储、分散管理信息资源，统一访问接口，以适应我军装备保障信息安全系统的发展，满足其需求。3需求分析3.1功能

5、性需求分析装备保障异构大数据统一访问与转换平台的功能性需求如图1所示。从图1中可以看出，系统的主要功能有：①用户注册数据源信息到数据处理中心;②异构数据源预处理数据源中存储的全部数据;③数据处理中心抽取相关异构数据源的元数据信息;④数据处理中心依据元数据信息建立映射模式;⑤数据处理中心抽取数据源中的数据信息;⑥数据处理中心灵活转换异构数据，并存储转换后的数据等。数据应用主要是指数据处理中心应用转换后的数据或者对相关存储数据有特定的应用。由于异构数据源中的数据量较大，因此，在抽取数据信息、转换数据和存储数据的过程中，主要借助服务数据

6、对象编程技术Hadoop平台、分布式MapReduce计算框架和HBase存储等技术完成高效、快速、准确的运算和存储操作。3.1.1数据预处理数据预处理的目的是要保证数据的基本质量，为数据的抽取、转换、存储等提供基础服务。数据源处理工作主要是在数据源本地完成的，通过对数据的清洗、过滤、去重和修正等操作，保证其基本质量，使它能够满足数据分析抽取等工作的统一处理要求。预处理数据详细用例规约如表1所示。3.1.2注册数据源信息注册数据源信息功能允许用户将需要的异构数据源信息(数据源访问信息，比如数据库的访问地址、端口、数据库名、用户名、

7、密码和权限等)注册到数据处理中心。数据处理中心得到数据源信息后，可以随时访问数据源，以获取数据源的数据信息。注册数据源信息详细用例规约如表2所示。3.1.3抽取数据源元数据信息在此过程中，允许数据处理中心抽取异构数据源的元数据信息。这些信息主要包括对数据库名、数据库表名、属性(类型名、格式、约束等)、主键和外键等的描述，而标准元数据通常被用来访问分布式异构数据源。鉴于此，可以通过服务数据对象(ServiceDataObject，SDO)、数据访问服务(DataAccessService，DAS)API读取数据库中的元数据(Meta

8、data)信息，并提取相对应的异构资源数据库的所有表信息、视图、相关规则和语义约束(比如主外键、唯一性约束、默认值等)信息。抽取数据源元数据信息的详细用例规约如表3所示。3.1.4建立映射模式建立映射模式主要是为了解决数据转换中各异构数据源中数据模