【完整流程】用ibm dwe数据仓库建立数据分析

《【完整流程】用ibm dwe数据仓库建立数据分析》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、用IBMDWE数据仓库建立数据分析【IT168技术文档】针对数据仓库、商业智能应用，IBM提供了全面的、业界领先的解决方案。软件方面，提供了集成的、端到端的解决方案DWE(DataWarehouseEdition)；硬件方面，IBM提出了BalancedWarehouse解决方案，它根据用户预计的数据仓库规模，为用户提供预先配置的、经过优化的、可以扩展的硬件配置方案，包括服务器的型号、配置，存储的配置，网络的配置，可以为用户提供合理的硬件选型；在数据仓库模型方面，IBM提供了针对银行、电信、保险及零售业的数据仓库模型，可以为用户

2、提供针对行业应用的模板，加速行业应用建模。本文，主要为大家介绍DWE(DataWarehouseEdition)解决方案，特别是如何利用DWE功能部件快速建立数据分析应用，以帮助大家快速掌握利用DWE开发分析应用的基本方法。DWE软件包是一个集成的解决方案，它包括了实现一个数据仓库应用所需的各种功能部件，包括：l－用于数据抽取、转换、清洗、装载的软件SQLWarehouse，它主要实现基于数据库的数据转换工作。l－用于构造多维数据模型的功能部件OLAP，它主要完成构建多维数据模型，并将多维数据模型保存到数据库中，使数据库成为真正

3、的多维模型感知的数据库系统，同时，可以完成不同分析工具之间的多维模型的元数据交换。另外，它还可以针对多维数据模型提供优化功能，通过提供建立数据汇总表的功能来优化数据分析效率。l－用于查询、报表及OLAP分析的前端展现工具Alphablox，它是一个基于J2EE架构的多维分析工具，主要定位于提供嵌入式的、可定制化的应用。用户开发Alphablox应用，主要是开发一些jsp页面，同时嵌入Alphablox提供的用于多维分析的各种Blox，开发周期短，可定制能力强。l－用于数据挖掘的功能部件Mining，它通过Modeling、Vis

4、ualization及Scoring等功能实现数据挖掘模型的建模、可视化展现及实时利用模型为新数据评分的功能。Mining功能部件提供了业界丰富的数据挖掘算法，并实现了将数据挖掘功能嵌入到工作流应用中，扩展了数据挖掘应用的应用范围。l－提供了数据仓库数据存储软件DB2，它提供了业界领先的数据可扩展能力，可以支持TB级海量数据仓库系统，并通过查询并行能力、优化器算法、MQT汇总表等方式来提高查询的效率。l－提供了集成的、基于eclipse的数据仓库设计工具DesignStudio，它可以实现数据仓库抽取流程的设计、挖掘模型的设计、

5、多维分析建模。l－提供了统一的、集成的数据仓库管理工具AdminConsole，它是一个基于Web界面的管理工具，可以完成数据抽取流程的管理、调度，多维模型的管理及优化，挖掘模型的管理及前端分析工具Alphablox的管理。   下边，我们通过一个简单的“销售分析”的例子来介绍一下如何利用DWE功能部件快速建立数据分析应用。“销售分析”模型主要包括3个维度：－Locations维度：地区维度，包括全国—省—城市三个层次；－Times维度：时间维度，包括年—月—日三个层次；－Products维度：产品维度，包括产品类别—产品两个层

6、次；事实表Fact:：包括销售额及销售数量两个量度；一、在数据库中建立星型模型    当定义好多维模型后，我们要在数据库中实现其物理模型。通常情况下，基于关系型多维分析往往采用星型模型或雪花型模型。这里，我们建立了一个简单的星型模型，如图：   在DWE中，我们建议星型模型的事实表及维表之间要建立主外键关系，特别是对多维模型优化会起到重要作用。    我们首先创建一个数据库DWEOLAP，用于存储分析数据及多维模型，并在DWEOLAP中创建星型模型的表，如图：1二、用SQLWarehouse完成数据抽取、转换、装载工作   当在

7、DWEOLAP数据库中创建好星型模型后，下边就要完成数据抽取、转换、装载工作，我们这里通过DWE组件中的SQLWarehouse来完成。    采用SQLWarehouse来完成数据抽取、转换、装载工作的主要步骤包括：1.在DesignStudio中创建数据设计项目，用来创建数据物理模型，在SQLWarehouse中，数据的抽取、转换是要针对物理模型来完成的。2.在DesignStudio中创建数据仓库项目，并关联相应的数据设计项目，来指定相应的物理模型。SQLWarehouse设计数据的抽取、转换流程都是在数据仓库项目中完成的

8、。3.在DesignStudio中设计数据流程，完成数据的抽取、转换及装载工作。4.在DesignStudio中设计控制流程，完成数据流程的控制。在SQLWarehouse中，ETL流程的调度、运行都是基于控制流程来完成的。5.在DesignStudio生成数据