基于POSC平台的数据仓库.pdf

《基于POSC平台的数据仓库.pdf》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、大庆石油学院学报第26卷第1期2002年3月JOURNALOFDAOINGPETROLEUMINSTITUTEVol.26No.1Mar.2002!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!基于POSC平台的数据仓库文必龙1，刘贤梅1，郭立君1，张剑光2，苏斐1（1.大庆石油学院计算机科学系，黑龙江安达151400；2.大庆石化总厂仪表修造厂，黑龙江大庆163714）摘要：介绍了按照POSC软件集成平台技术进行数据集成、建立数据仓库的方法；数据仓库的总体结构是以POSC数据平台为基础，并基于Epicen

2、tre的多维数据结构；数据集成是从源数据库中抽取数据，根据映射关系，自动把数据调整并加载到POSC数据仓中；采用4层结构的元数据模型，实现了可扩充性强的资源管理；按照主题建立的数据集市提供了多策略的数据挖掘手段.关键词：POSC；数据仓库；数据集市；元数据；数据集成中图分类号：TP311文献标识码：A文章编号：1000-1891（2002）01-0057-040引言目前，数据库的成功应用主要局限于较小的业务范围之内，就规模和技术定义来说，这种数据库系统是一种联机业务处理系统（OLTP）.建立综合性的数据仓库系统，将使业务级的数据变成辅助高层决策的信息和知识.建立数据仓库的基础是有

3、一个公共的数据模型和软件开发标准，POSC软件集成平台可为此［1］提供数据支撑.数据集市是数据仓库的一种构造形式，以数据仓库主题的一个子集组织和管理数据，与数据仓库技术是相同的.文中介绍了建立4层元数据模型、基于Epcientre的多维数据结构的原理，利用POSC软件集成平台完成数据集成，建立数据仓库，实现数据管理，提供了多策略的数据挖掘手段.1总体结构系统的总体结构见图1.图1系统总体结构从数据角度分析，系统分为3个部分：（1）数据源.这是最原始的数据，来源于各业务部门，是OLTP产生的结果，一般存放于小型数据库中，也可能以文件形式提供.（2）数据仓库.这是数据仓库系统的核心，

4、数据源中的数据要经过抽取、净化、集成后，存到数据仓库中.本系统的数据仓库采用POSCEpicentre数据模型，并分为主体数据和元数据两部分.收稿日期：2001-10-10；审稿人：马瑞民基金项目：中国石油天然气集团公司“九五”科技攻关项目（96科字163号）作者简介：文必龙（1967-），男，硕士，副教授，主要从事计算机应用方面的研究.·57·大庆石油学院学报第26卷2002年!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!!（3）数据集市.数据集市是根据应用主题建立的，其中的数据是数据仓库中的一个子集，数

5、据挖掘是基于数据集市的，数据集市分为主题数据和元数据两部分.从功能上分析，系统也是由3部分组成：（1）元数据管理.数据的管理以元数据为中心，元数据是描述整个数据仓库资源的数据，因此，数据管理也是数据仓库资源的管理.元数据中包括数据源字典、数据仓模型字典、主题字典、映射字典、数据操作日志等.数据管理的基础是元数据模型，数据管理工具是根据元数据来管理数据的，包括定义数据源的逻辑结构、定义主题、加载映射字典、自动提取数据仓模型、浏览元数据等功能.（2）数据集成与抽取.数据集成的主要功能是从源数据库中抽取数据，根据映射字典中定义的映射关系，自动把数据加载到P0SC数据仓中，在加载过程中，

6、要检查数据的合法性，把加载结果存入日志中.（3）数据挖掘.数据挖掘是根据应用主题，从数据集市中抽取相关的数据进行分析，这里采用多策略数据挖掘，提供了多种数据挖掘算法，动态选择适当的算法进行计算.2数据模型数据仓库的数据模型是一种星型结构，具有多维性.一个主题包含多个事实表、维表以及数据立方体.其中，事实表（Fact）存储用户需要查询分析的数据，主题的内容就在事实表中体现.事实表中包含多个维（Dimension）和度量（Measurement），维代表了用户观察数据的特定视角，如：时间维、地区维、产品维等，度量是对数据的实际描述.度量的实际数据存放在事实表中，维的详细信息存放在维表

7、中，维的标识码键存放在事实表中.事实表和维表将通过键值关联起来，构成一种星型模型，在此基础上构成数据立方体并实现0LAP（联机分析处理）操作.数据立方体（DataCube）是一个多维的数据阵列结构，是组织多维0LAP操作的基础.!"#基于Epicentre的数据仓库的数据模型Epicentre是一个适合于建立中心数据仓库的数据模型，这是因为Epicentre具有以下与数据仓库相关的特征：（1）时间性.数据仓库应能够保存历史数据，这就要求每一个数据均可打上时间标记.Epicentr