基于自标准数据和数据港口架构的数据共享技术.pdf

《基于自标准数据和数据港口架构的数据共享技术.pdf》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、东北石油大学学报第39卷第4期2015年8月JoURNALOFNORTHEASTPETROLEUMUNIVERSITYVo1．39No．4Aug．2015基于自标准数据和数据港口架构的数据共享技术袁满，王丹丹，翟红翠(I．东北石油大学计算机与信息技术学院，黑龙江大庆163318；2．华北油田数据中心，河北任丘062552)摘要：为满足复杂数据共享需求、减轻数据提供者负担，分析自标准与数据港IZl架构理论机器实现技术．将数据模式的概念引入自标准数据模型，根据NIEM原理，构建由公共数据模型、业务领域数据模型及编

2、码表构成的自标准数据模型库；基于MFI一13表单注册标准，根据自标准数据模型对数据集进行注册，为实现软件之间的互操作对应生成元数据，并描述元数据遵循的语法及语义；为实现自标准数据的共享，提出基于数据港口架构的数据共享模型，并构建原型系统，证明其有效性和技术可行性．关键词：数据港口架构；自标准数据模型；数据集注册；数据共享模型中图分类号：TP391文献标识码：A文章编号：2095—4107(2015)04—0103—060引言数据集成技术研究始于2O世纪7O年代中期，之后应用范围和作用不断扩大l_1]．对数据进

3、行有效的集成管理已成为增强企业商业竞争力的必然选择．数据集成是数据组织的重要方法，是实现数据共享的重要途径]．无论企业应用系统多么复杂，其本质是进行数据处理，实现数据的共享，数据共享包括数据查询和数据交换[3]．在企业处理数据过程中，MartinJ等认为企业产生数据的种类与数量是有限的，由于用户对数据需求不同，造成数据共享的复杂与多变_4]．虽然已制定诸多数据共享标准，但是企业标准的制订速度远远不能满足企业对数据共享标准的需求．袁满等提出“自标准”思想_l6]，通过自标准与标准结合，满足企业对数据共享的需求．

4、夏艳波等受到集装箱采用标准化体系后货物的运输效率提升4～5倍的启发，将“自标准数据”视为信息世界的集装箱及其内装货物，并将自标准与数据港口技术融合在一起解决企业的数据共享问题_7]．2011年，DanWoods提出“数据湖(DataLake)”概念，主要目的是解决信息孤岛和大数据分析问题，其重点是保存不同数据，忽略如何使用数据，以及为什么要使用数据、监管数据、定义数据和确保数据安全[8]．与“数据湖”概念相比，基于自标准数据的数据港口技术架构不仅能够实现对数据的存储，而且还能够实现对数据的管理与共享．自标准数

5、据和数据港口技术结合形成的数据标准，能够较好地解决企业数据共享问题．文献E6]给出自标准数据和数据港口技术架构，但是对于如何实现共享的自标准数据模型，以及数据集注册等没有给出解决办法．笔者将NIEM(NationalInformationExchangeMode1)和MFI(MetamodelFrameworkforIn-teroperability)等技术融入到问题解决方案，并设计与实现原型系统，验证研究内容的正确性与有效性．1数据港口架构用航行业务中港口概念类比数据港口，数据港口是用于建立独立于各现有应用

6、系统之外的数据服务机制，是一个逻辑概念．数据港口主要由数据码头、泊位、数据泵及港口航道等重要组件构成．(1)数据码头．作为存放数据的场所，不同领域的自标准数据对应存储于对应的数据码头，方便数据消费者查询并获取数据．(2)泊位．即数据提供者和数据消费者为了向数据港口集装或解封数据，临时用于排队停靠的地点，在收稿日期：2015一O6—17；编辑：张兆虹基金项目：黑龙江省教育厅基金项目(12531059)作者简介：袁满(1965一)，男，博士，教授，主要从事信息标准化与信息集成、数据工程理论与技术方面的研究东北石油

7、大学学报第39卷2015年这里对进港的数据进行解封、分类后，推送给指定的数据码头；出港的数据也在这里集装打包后推送给数据消费者．(3)数据泵．包括数据抽取泵和数据推送泵，是专门抽取数据的部件，它既可以是集中的，又可以是分散的，可以被看作是传统数据适配器的改进．(4)港口航道．可提供数据港口与数据港口间链路接口，实现港口与港口之间数据互联和共享．2自标准数据自标准数据由数据模式和数据部分组成．数据模式用于描述数据结构，是数据的概念、组成、结构和相互关系的总称]．对数据进行自标准时，将数据模式概念融人到自标准数据

8、中定义自标准数据模型．2．1模型构建数据模型是跨领域数据共享和共同遵循的标准，表现为系列的模式文件．自标准数据模式推荐采用XMLSchema模式语言，对各个业务领域共用的实体或领域内部实体及其关系进行抽象描述，根据领域不同对它进行主题分类．借鉴美国国土安全部和司法部提出的国家信息共享模型(NIEM)的原理和方法，实现中国跨领域信息共享．NIEM由核心数据模型、领域数据模型(各专业的业务模型)及各领域