数据仓库系统体系结构分析

《数据仓库系统体系结构分析》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、数据仓库系统体系结构分析 从理论上去分析与定义数据仓库与信息共享平台或者管理信息系统等的区别并没有什么意义。本文从工程实施的角度来探讨在设计数据仓库系统时所采用的几种体系结构以及各自的优缺点。 　　对于一个企业而言，最关键也最为重要的是，如何以一种有效的方式逐步整理各个业务处理系统中积累下来的历史数据，并通过灵活有效的方式为各级业务人员提供统一的信息视图，从而在整个企业内实现真正的信息共享。这一类的应用系统都可以称之为数据仓库。 　　直接报表 　　这类系统之所以称为直接报表(Direct Reporting)，是因为业务人员通过一些OLAP/商业智能

2、工具直接访问业务系统中的数据，并产生所需要的报表或者进行相关的分析。这种结构非常简单，只要把OLAP工具与现有业务系统进行连接，能够进行联机信息访问就可以了。它能够很快地向业务人员提供一定范围内灵活的多维分析报表，比传统的通过编程来生成报表的方式要快捷得多。 　　这种方式的主要问题在于：数据访问内容有限，局限于业务处理系统中现有的在线数据；无法提供统一的信息视图；影响业务处理性能。 独立数据集市 　　独立数据集市(Independent Data Mart)也被称为部门级数据仓库，往往是针对特定部门的业务需求而设计的。这里之所以在数据集市前冠以“独立

3、”两字，是为了强调当企业为多个部门建立数据集市之后，这些数据集市彼此之间相互独立，具有不同的数据存储模型。在这种结构中，企业没有一个统一的数据存储模型。 　　把用于数据分析与决策支持的数据集市与业务处理系统物理上分离，通过ETL流程把业务系统中的数据经过清洗与整理后加载到数据集市。业务人员通过OLAP工具直接访问数据集市中的信息来生成多维报表或者进行其它信息分析。 　　在这种结构中，IT人员必须针对每个数据集市设计独立的ETL处理程序，把各生产系统的操作数据按照需要分别转换到每个独立数据集市中。这种策略将使整个系统变得非常复杂和难于维护，在投资方面也

4、是得不偿失。这种结构最主要的问题还是在于没有统一的企业数据存储模型，不能为企业提供统一的信息视图。很多企业的数据仓库系统在达到一定规模后不得不更换平台，主要也是这个原因。Hub and Spoke企业级数据仓库 　　由于独立数据集市结构存在的问题，人们在规划数据仓库时已经逐渐转为实施企业级的数据仓库。对于企业级数据仓库，基本的要求是整个企业能够共享统一的数据存储模型，为各级业务人员提供一致的信息视图。实施时可以先按照需求的轻重缓急选择部分业务主题，然后逐步扩展到涵盖全部业务。 　　从结构上来看，企业级数据仓库主要分两种。先讨论第一种，即“Hub an

5、d Spoke”(集线器与车轮状)结构的企业级数据仓库。 　　这种结构与独立数据集市的主要差别在于增加了一个企业级数据仓库，它需要一个RDBMS来驱动。ETL流程首先将所有业务处理系统中的数据按照统一的存储模型加载到中央数据仓库，然后再按照各部门特定的需求把相关数据复制到部门数据集市。因为中央数据仓库汇集了来自各业务处理系统的数据，同时也负责向各数据集市提供信息，看上去像一个Hub (集线器)一样。而业务人员在进行数据分析与信息访问时将根据需要连接到不同的数据集市，这种交叉复杂的连接看上去就像Spoke(车轮辐条)一样。著名评估机构Gartner G

6、roup因此把这种数据仓库形象地称为“Hub and Spoke Data Warehouse”。 　　“Hub and Spoke”结构虽然解决了统一数据存储模型、数据一致性的问题，但从实际使用的角度来看仍有比较严重的缺陷。主要体现在两方面：一个是业务人员对信息的访问非常不方便，很难进行跨数据集市之间的信息分析。另一个问题是当数据集市增加时，系统整体投资迅速增加，同时管理的复杂性也随之增加。 　　当中央数据仓库保存越来越多的数据、并发用户越来越多时，一般的数据库引擎无法承担这样的负载，只好把它们分解到不同的数据集市。有些厂商为了解决跨数据集市之间信

7、息访问的问题，推出一些“虚拟数据连接器(Visual Data Joiner)”的工具软件。对于数据量较大规模的系统来说，这种工具并没有多大的实用价值。 　　统一的企业级数据仓库 　　与“Hub and Spoke”结构相比，第二种统一的企业级数据仓库系统和它主要的差别在于： 　　1.数据集市分成物理与逻辑两种，物理数据集市设立在中央数据仓库之外，具有专门的软硬件设备。一般都使用OLAP服务器，按照特定需求组建多维立方体来提供多维信息分析。逻辑数据集市设立在中央数据仓库之内，由在基础数据之上形成的小结表或者逻辑视图组成。业务人员既可以访问多维立方体，

8、也可以访问中央数据仓库内的小结表或者逻辑视图。基于OLAP服务器的数据集市比基于RDBMS的数据集市要容易维