数据仓库、贸易智能的体系结构转

《数据仓库、贸易智能的体系结构转》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。

1、数据仓库、贸易智能的体系结构转如图16-5所示是数据仓库/贸易智能的完整的体系结构图，根据数据的不同形态，整个体系被划分为4个大的层面，并根据数据的处理和应用过程再细分成7个环节。从数据源经过抽取(Extra，E)、转换(Transform，T)、装载(Load，L)过程加载到中心数据仓库，再从数据仓库经过分类加工放到数据集市(DM，DataMarket)，或者将数据集市中的数据进一步存放到*数据库(MDD，Multi-dimensionDatabase)中，这都属于数据组织的题目，从中间层到终端用户或从*数据

2、库到终端用户可将其划回为前端应用实现的题目。而贯串整个体系数据处理环节的，是系统的流程调度控制和元数据治理。图16-5数据仓库/贸易智能体系结构图数据源可以是企业日常运作积累下来的各类的业务数据，也可以是外部的数据。这些数据在存放方式、存放格式、存放地点上可能是多种多样的，这就要求数据仓库的体系结构必须能处理由这种多样性带来的种种题目，如访问多种技术平台下，多种类型的DBMS内的数据，并解决由于数据远程迁移所带来的完整性和安全性题目。数据抽取、转换和装载完成如下任务：从源数据抽取数据、进行一定的变换、装载到数据

3、仓库。在上述过程中，需要进行如下数据处理。l简单变换：是数据变换最简单的形式，一次只针对一个字段，而不是考虑相关字段的值。主要有数据类型的转换、日期/时间的格式转换、字段解码等。数据仓库、贸易智能的体系结构转如图16-5所示是数据仓库/贸易智能的完整的体系结构图，根据数据的不同形态，整个体系被划分为4个大的层面，并根据数据的处理和应用过程再细分成7个环节。从数据源经过抽取(Extra，E)、转换(Transform，T)、装载(Load，L)过程加载到中心数据仓库，再从数据仓库经过分类加工放到数据集市(DM，D

4、ataMarket)，或者将数据集市中的数据进一步存放到*数据库(MDD，Multi-dimensionDatabase)中，这都属于数据组织的题目，从中间层到终端用户或从*数据库到终端用户可将其划回为前端应用实现的题目。而贯串整个体系数据处理环节的，是系统的流程调度控制和元数据治理。图16-5数据仓库/贸易智能体系结构图数据源可以是企业日常运作积累下来的各类的业务数据，也可以是外部的数据。这些数据在存放方式、存放格式、存放地点上可能是多种多样的，这就要求数据仓库的体系结构必须能处理由这种多样性带来的种种题目，

5、如访问多种技术平台下，多种类型的DBMS内的数据，并解决由于数据远程迁移所带来的完整性和安全性题目。数据抽取、转换和装载完成如下任务：从源数据抽取数据、进行一定的变换、装载到数据仓库。在上述过程中，需要进行如下数据处理。l简单变换：是数据变换最简单的形式，一次只针对一个字段，而不是考虑相关字段的值。主要有数据类型的转换、日期/时间的格式转换、字段解码等。l清洁和洗擦：目的是为了保证前后一致地格式化和使用某一字段或相关的字段群。清洁和洗擦是两个可以互换的术语，指的是比简单变换更为复杂的一种变换。在这种变换中，要检

6、查的是字段和字段组中的实际内容而不仅是存储格式。一种检查是检查数据字段值的有效值，它指的是检验一个字段的有效值以保证它落在预期的范围之内，通常是数字范围和日期范围。数据洗擦的另一主要类型是重新格式化某些类型的数据，这种方法适用于可以用很多不同方式存储在不同数据来源中的信息，必须在数据仓库中把这类信息转换成一种同一的表示方式。l集成：要把从来源全然不同的数据结合在一起，真正的困难在于将其集成一个紧密结合的数据模型。这些数据来源往往遵守的不是同一套业务规则，在天生新数据时，必须考虑到这一差异。l聚集和概括：大多数数

7、据仓库都要用到数据的某种聚集和概括。这通常有助于将某一实例的数目减少到易于驾驭的水平，也有助于预先计算出广泛的概括数字，以使每个查询不必计算它们。概括是指按照一个和几个业务维将相近的数值加在一起，聚集是将不同业务元素加在一起或为一个公共总数，在数据仓库中它们是以相同的方式进行的。数据仓库的一个目的就是把企业的信息访问基础，从一种非结构化的或发展中的环境改变成一种结构化或规划良好的环境。对于传统的业务处理(OLTP)系统，我们总是按照业务应用来建立它的模型，换言之，业务处理系统是面向应用来设计的，更正确地说是面向

8、交易来设计的。而数据仓库则一般按照主题(Subject)来建模，它是面向主题的。何谓应用?何谓主题?让我们来看一个简单的例子。在银行中，一般都有对私(个人储蓄)、对公(企业储蓄)、信用卡等多种业务系统。它们都是面向相关业务应用设计的交易处理系统，主要任务是完成业务交易过程中的数据处理。数据库在设计时围绕性能和完整性方面，而每个交易涉及的数据往往只是记录的层面，数据库设计主要考虑并行更新