数据集市与数据仓库

《数据集市与数据仓库》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、数据集市与数据仓库

2、第1lunon的定义予以说明（来自.billinmon.词汇表）。　　数据仓库（如图1所示）是一个集成的、面向主题的数据集合，设计的目的是支持DSS（决策支持系统）功能。在数据仓库里，每个数据单元都和特定的时间相关。数据仓库包括原子级别的数据和轻度汇总的数据，是面向主题的、集成的、不可更新的(稳定性)、随时间不断变化（不同时间）的数据集合，用以支持经营管理中的决策制定过程。　　图1所示的以数据仓库为基础的决策支持环境，要求数据仓库能够满足所有最终用户的需求。然而，不同最终用户的需求侧重点是不同的，这就要求数据仓库存储的数据要具有充分的灵活性，以能够适应各类用户的

3、查询和分析；另一方面，最终用户对信息检索要求是高性能—越快越好。但是，对数据仓库而言，灵活性和性能（速度）是一对矛盾体—要保障灵活性以满足尽可能多用户的查询需求会影响整个数据仓库的性能。为了解决灵活性和性能之间的矛盾，数据仓库体系结构中增加了数据集市（如图2所示）—一种小型的部门或工作组级别的数据仓库。数据集市存储为特定用户预先计算好的数据，从而满足用户对性能的需求。　　“仓库”和“集市”的区别　　数据仓库和数据集市之间的区别，可以用图3（来自.billinmon.）直观地表示。　　从图中可以看出，数据仓库中数据结构采用规范化模式（关系数据库设计理论），数据集市的数据结构采用星型模

4、式（多维数据库设计理论）。数据仓库中数据的粒度比数据集市的粒度细。图3反映了数据结构和数据内容的两个特征，其他方面的比较则如表1所示。　　数据集市能“独立”吗？　　企业规划数据仓库项目的时候，往往会遇到很多数据仓库软件供应商。各供应商除了推销相关的软件工具外，同时也会向企业灌输许多概念。其中，数据仓库和数据集市是最常见的两个术语了。各个供应商术语定义不统一、销售策略不一样，这往往会给企业带来很大的混淆。最典型的问题是：到底是先上一个企业级的数据仓库呢？还是先上一个部门级的数据集市？这其实是是否要上独立型数据集市的问题。　　数据集市可以分为两种类型—独立型数据集市和从属型数据集市。独

5、立型数据集市直接从操作型环境获取数据，从属型数据集市从企业级数据仓库获取数据，带有从属型数据集市的体系结构如图2所示。　　数据仓库规模大、周期长，一些规模比较小的企业用户难以承担。因此，作为快速解决企业当前存在的实际问题的一种有效方法，独立型数据集市成为一种既成事实。独立型数据集市是为满足特定用户（一般是部门级别的）的需求而建立的一种分析型环境，它能够快速地解决某些具体的问题，而且投资规模也比数据仓库小很多。　　独立型数据集市的存在会给人造成一种错觉，似乎可以先独立地构建数据集市，当数据集市达到一定的规模再直接转换为数据仓库。有些销售人员会推销这种观点，其实质却常常是因为建立企业级

6、数据仓库的销售周期太长以至于不好操作。　　多个独立的数据集市的累积，是不能形成一个企业级的数据仓库的，这是由数据仓库和数据集市本身的特点决定的—数据集市为各个部门或工作组所用，各个集市之间存在不一致性是难免的。因为脱离数据仓库的缘故，当多个独立型数据集市增长到一定规模之后，由于没有统一的数据仓库协调，企业只会又增加一些信息孤岛，仍然不能以整个企业的视图分析数据。借用Inmon的比喻：我们不可能将大海里的小鱼堆在一起就构成一头大鲸鱼，这也说明了数据仓库和数据集市有本质的不同。　　如果企业最终想建设一个全企业统一的数据仓库，想要以整个企业的视图分析数据，独立型数据集市恐怕不是合适的选择

7、；也就是说“先独立地构建数据集市，当数据集市达到一定的规模再直接转换为数据仓库”是不合适的。从长远的角度看，从属型数据集市在体系结构上比独立型数据集市更稳定，可以说是数据集市未来建设的主要方向。　　数据集市怎么建？　　建立不同规格的数据仓库、数据集市的成本，国外的咨询机构有专门的评估，在一定程度上可以借鉴。但是这些结果在国内也许并不适用，因为国情不同，在国内的构建成本需要专门的调研。以我们为企业构建的客户主题数据集市为例，一般成本在20万元到50万元人民币之间。　　数据仓库（集市）的设计可以采用迭代式的方法。在迭代式开发中，每个迭代为上一次的结果增加了新的功能。功能增加的顺序要考虑

8、到迭代平衡以及尽早发现重大风险。通俗地说，就是在正式交货之前多次给客户交付不完善的中间产品“试用”。这些中间产品会有一些功能还没有添加进去、还不稳定，但是客户提出修改意见以后，开发人员能够更好地理解客户的需求。如此反复，使得产品在质量上能够逐渐逼近客户的要求。这种开发方法周期长、成本高，但是它能够避免整个项目推倒重来的风险，比较适合大项目、高风险项目。　　理论上讲，应该有一个总的数据仓库的概念，然后才有数据集市。实际建设数据仓库（集市）的时候，国内很少这么做。国内一般