etl流程,数据流图及etl过程解决方案.ppt43

《etl流程,数据流图及etl过程解决方案.ppt43》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、自从人类进入商品经济社会以来，贸易即已成为人们日常活动的主要部分，并成为一国经济增长的主动力。国际分工的深化、大量国际统一标准规则的建立etl流程,数据流图及etl过程解决方案.ppt43　　篇一：ETL设计过程　　本文将介绍设计和实现仓库ETL过程，并了解仓库的性能和安全问题。　　简介　　数据集成是数据仓库中的关键概念。ETL(数据的提取、转换和加载)过程的设计和实现是数据仓库解决方案中极其重要的一部分。ETL过程用于从多个源提取业务数据，清理数据，然后集成这些数据，并将它们装入数据仓库数据库中，为数据分析做好准备

2、。ETL过程设计　　尽管实际的ETL设计和实现在很大程度上取决于为数据仓库项目选择的ETL工具，但是高级的系统化ETL设计将有助于构建高效灵活的ETL过程。　　在深入研究数据仓库ETL过程的设计之前，请记住ETL的经验法则：―ETL过程不应修改数据，而应该优化数据。‖如果您发现需要对业务数据进行修改，但不确定这些修改是否会更改数据本身的含义，那么请在开始ETL过程之前咨询您的客户。调制的ETL过程设计　　由于其过程化特性以及进行数百或数千个操作的可能性，所以以精确方式设计ETL过程，从而使它们变得高效、可伸缩并且可维

3、护就极为重要。ETL随着信息化和全球化的发展，国家及地区之间的贸易也已成为拉动一国经济的三驾马车之一，甚至是三驾马车之首，奥巴马政府成立之日起自从人类进入商品经济社会以来，贸易即已成为人们日常活动的主要部分，并成为一国经济增长的主动力。国际分工的深化、大量国际统一标准规则的建立数据转换操作大致可以分为6个组或模块：数据的提取、验证、清理、集成、聚集和装入。要安排好这些组，按照使这一过程获得最大简化、具有最佳性能和易于修改的逻辑次序来执行操作。下图中展示了执行的次序。图1.ETL数据转换过程的功能模块设计　　在项目的业

4、务需求和数据分析阶段，我们创建了数据映射信息。有许多中记录数据映射的方式;ETL数据映射表是指导ETL过程设计的最佳方式。您还可以将该表用作与业务客户就数据映射和ETL过程问题进行交流的方式。ETL数据映射表有不同的级别，如实体级别和属性级别。每个级别中都具有不同级别的详细数据映射信息。下表是一个实体级别的ETL数据映射表的简化例子。该表中的每个―X‖表示到操作细节或较低级数据映射文档的链接。表1.ETL实体映射表　　源验证清理转换集成聚集目标　　账户客户XX?XX客户　　信贷客户XXX　　借贷客户X?X　　支票账户

5、XX?XX账户　　储蓄账户X?X　　信贷账户X?X　　借贷账户XX?在DB2数据仓库中实现ETL过程　　DB2?UniversalDatabase?DataWarehouseEditions随着信息化和全球化的发展，国家及地区之间的贸易也已成为拉动一国经济的三驾马车之一，甚至是三驾马车之首，奥巴马政府成立之日起自从人类进入商品经济社会以来，贸易即已成为人们日常活动的主要部分，并成为一国经济增长的主动力。国际分工的深化、大量国际统一标准规则的建立为数据仓库功能提供了改进的性能和可用性。DB2DataWarehouseC

6、enter(DWC)是一个可视化的ETL设计和实现工具，它是DB2UDB中的组成部分。这一节将查看如何使用DB2UDB(Version)DataWarehouseCenter设计和实现仓库ETL过程。创建仓库控制数据库　　仓库控制数据库包含存储数据仓库中心(DataWarehouseCenter)元数据所必需的控制表。在DataWarehouseCenter的Version或更新的版本中，仓库控制数据库必须是UTF-8(Unicode　　TransformationFormat或Unicode)的数据库。这一需求为D

7、ataWarehouseCenter提供了扩展的语言支持。如果尝试使用非Unicode格式的数据库登录DataWarehouseCenter，那么您会收到无法登录的错误消息。您可以使用WarehouseControlDatabaseManagement工具，将元数据从指定的数据库迁移到新的Unicode数据库中。　　下面是创建和启动新的仓库控制数据库的步骤：　　确保启动了DB2仓库(Warehouse)服务器和相关的服务。在仓库控制数据库的管理窗口中，填入控制数据库名、模式名(IWH)、用户ID和密码，并创建该仓库控

8、制数据库。如果在以前版本的DB2DWE上已经有一个仓库，那么还可以使用此过程将仓库控制数据库迁移到当前版本中。　　通过新创建的或迁移的控制数据库登录到DB2Data随着信息化和全球化的发展，国家及地区之间的贸易也已成为拉动一国经济的三驾马车之一，甚至是三驾马车之首，奥巴马政府成立之日起自从人类进入商品经济社会以来，贸易即已成为人们日常活动的主要