基于集中数据中心的统一数据发布平台建设分析

《基于集中数据中心的统一数据发布平台建设分析》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、内蒙古电力技术2010年第28卷第3期INNERMONG0LIAELECTRICPOWEI<3基于集中数据中心的统一数据发布平台建设分析AnalysistoUnifiedDataPublishingPlatformEstablishmentBasedonCentralizedDataCenter姚强一。杨志武(1．华北电力大学，河北保定071003；2．内蒙古电力信息通信中心，内蒙古呼和浩特0100203．内蒙古电力(集团)有限责任公司，内蒙古呼和浩特010020)f摘要1针对内蒙古电力数据中心信息资源共享程度

2、低、孤岛现象严重的问题，分析了数据中心及数据发布平台的体系结构．提出内蒙古电力数据中心的总体技术架构和总体逻辑架构。说明架构中每一部分实现的功能．并按营销、财务、电网运行、生产技术及计划统计各个主·题进行数据内容的发布展现，通过数据中心及数据发布平台的建设，可实现跨部门的数据交换共享．完成各类数据的查询和分析．为辅助决策提供依据。『关键词1数据中心；数据发布平台；数据仓库；数据集市『文献标志码1B『文章编号11008—6218(2010)03—0003—030引言据仓库、ETL、OLAP和数据挖掘等技术的综合运

3、用，其关键是从不同来源的数据中，提取出有用的数据．近几年，内蒙古电力在信息化进程中．建设了大进行清理、校验，以保证数据的正确性和完整性，然量的应用系统(如大集中的营销、生产、财务、人力资后经过抽取、转换和装载．合并到一个企业级的数据源、审计、计划等)，基本覆盖了内蒙古电力(集团)有仓库里，从而得到企业数据的一个全局视图。在此基限责任公司(以下简称内蒙古电力公司)主要的核心础上．利用OLAP技术进行多维分析建模．最终通过业务。但是，由于这些应用系统大都是由各业务部门数据挖掘等技术以及前端展现模块把信息灵活地从组织

4、开发建设的．信息化应用大多处于业务处理层各种角度展现出来，帮助企业从中发现有用的信息面．信息资源建设缺乏有效整合．因此存在信息多El和知识径重复录入、共享程度低、利用率低的现象，信息交换困难，孤岛现象严重，协同办公、智能分析、辅助决策类等深层次分析挖掘和综合利用不够为了实现跨部门的数据共享．提高企业竞争力．有必要对应用系统积累的大量数据进行分析利用．构建集中的数据中心和统一的数据发布平台1数据中心及数据发布平台的体系结构数据中心及数据发布平台的体系结构见图1所图1数据中心及数据发布平台体系结构示。从技术层面上讲

5、，数据中心及数据发布平台是数【收稿日期]2010—05—14【作者简介]姚强(1971一)，男，山西省人，在读硕士，高级工程师，从事电力信息化T作。4内蒙古电力技术2010年第28卷第3期2基于数据中心构建数据发布平台仓库中不需要的源数据．并对数据的正确性和完整性进行校验，然后进行格式和类型转换、聚合、分流2．1总体架构等操作，最后载人数据目。2．1．1总体技术架构2．1．2．3操作型数据存储(ODS)内蒙古电力公司目前的应用系统全部采用统一源数据在被载人数据仓库前．均按照数据主题开发、集中部署的大集中模式，地

6、市供电局不存放主模型以符合3级范式的形式存储在ODS(Operating要业务数据．因此．数据中心的建设采用完全集中管DataStore)中。ODS按功能分为数据缓冲区和统一理的方案。数据中心总体技术架构见图2信息视图区2个区域。ODS数据缓冲区指数据库中的1段临时存储区．用于存放由业务系统提供的源数据，不同数据库平台的源数据到达缓冲区后．实现—一数据库平台的一致，方便进行数据整合和处理缓冲区存储的数据基本上与原系统保持一致．且数据被_III处理后．不会被保留图2数据中心总体技术架构图2．1．2．4数据仓库数据

7、仓库作为进一步分析的数据源．是面向主2．1．2总体逻辑架构题的、集成的、稳定的、不同时间的数据集合，为多维数据中心总体逻辑架构见图3所示。从图3可分析和数据挖掘提供所需要的整齐一致的数据．用以看出．内蒙古电力公司总部数据中心及信息发布以支持经营管理中的决策制定过程：同时，数据仓库平台的核心模块包括数据源、ETL、ODS、数据仓库、可以实现数据的集成、传输、整合、清理和储存，是商数据集市、OLAP分析等。业智能的基础【2．1．2．5数据集市企业信息门户数据集市是在数据仓库的基础上建立．一般采用星型模型．其数据来源

8、于数据仓库．相对数据仓库数据分析OLAP分析指示查询来说，数据集市可随着管理的变化进行调整．面向展数据集市现层的某个特定主题．具备较强的针对性豳团圆⋯豳2．1．2．6数据分析模型数据仓库数据分析模型是基于OLAP模型构建的．通过数据采集(ETL)数据分析和建模将数据转化为信息．通常由数据分操作型数据存储(ODS)析工具负责完成。在商务智能系统中，交互式信息分析、数据分析软件与商业运营规