数据仓库白皮书.doc

《数据仓库白皮书.doc》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据仓库白皮书-概念篇（作者：张澜、康增培　2001年03月02日11:59）　　人们在日常生活中经常会遇到这样的情况：超市的经营者希望将经常被同时购买的商品放在一起，以增加销售；保险公司想知道购买保险的客户一般具有哪些特征；医学研究人员希望从已有的成千上万份病历中找出患某种疾病的病人的共同特征，从而为治愈这种疾病提供一些帮助……对于以上问题，现有信息管理系统中的数据分析工具无法给出答案。因为无论是查询、统计还是报表，其处理方式都是对指定的数据进行简单的数字处理，而不能对这些数据所包含的内在信息进行提取。随着信息管理系统的广泛应用和数据量激增，人们希望能够提供

2、更高层次的数据分析功能。为此，数据仓库应运而生。　　数据仓库的概念及特点　　数据仓库概念始于本世纪80年代中期，首次出现是在号称“数据仓库之父”WilliamH.Inmon的《建立数据仓库》一书中。随着人们对大型数据系统研究、管理、维护等方面的深刻识认和不断完善，在总结、丰富、集中多行企业信息的经验之后，为数据仓库给出了更为精确的定义，即“数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合”。　　数据仓库并没有严格的数学理论基础，也没有成熟的基本模式，且更偏向于工程，具有强烈的工程性。因此，在技术上人们习惯于从工作过程等方面来分析

3、，并按其关键技术部份分为数据的抽取、存储与管理以及数据的表现等三个基本方面。　　⑴数据的抽取：数据的抽取是数据进入仓库的入口。由于数据仓库是一个独立的数据环境，它需要通过抽取过程将数据从联机事务处理系统、外部数据源、脱机的数据存储介质中导入到数据仓库。数据抽取在技术上主要涉及互连、复制、增量、转换、调度和监控等方面。数据仓库中的数据并不要求与联机事务处理系统保持实时同步，因此数据抽取可以定时进行，但多个抽取操作执行的时间、相互的顺序、成败对数据仓库中信息的有效性则至关重要。　　⑵存储和管理：数据仓库的真正关键是数据的存储和管理。数据仓库的组织管理方式决定了它有

4、别于传统数据库，同时也决定了其对外部数据的表现形式。要决定采用什么产品和技术来建立数据仓库的核心，则需要从数据仓库的技术特点着手分析。　　⑶数据的表现：数据表现实际上相当于数据仓库的门面，其性能主要集中在多维分析、数理统计和数据挖掘方面。而多维分析又是数据仓库的重要表现形式，近几年来由于互联网的发展，使得多维分析领域的工具和产品更加注重提供基于Web前端联机分析界面，而不仅仅是在网上发布数据。　　提到数据仓库，人们难免会想到仅有一字之差的数据库，那么，数据仓库和我们经常提到的数据库有哪些区别呢？为什么要使用数据仓库呢？　　从数据库到数据仓库　　市场需求是技术发

5、展的源动力。在数据库应用的早期，计算机系统所处理的是从无到有的问题，是传统手工业务自动化的问题。例如银行的储蓄系统、电信的计费系统，它们都属于典型的联机事务处理系统。在当时，一个企业可以简单地通过拥有联机事务处理的计算机系统而获得强大的市场竞争力。记得在80年代末，北京工商银行率先推出了全市个人储蓄通存通兑业务，广大市民便将先前就近存于不同银行的存款一并取出而存入了工商银行。这便是通过联机事务处理系统而获得市场优势的案例。其次，当时单位容量的联机存储介质比现在昂贵得多，相对于市场竞争的压力，将大量的历史业务数据长时间联机保存去用于分析显然是过于奢侈了。因此，联

6、机事务处理系统只涉及当前数据，系统积累下的历史业务数据往往被转储到脱机的环境中。此外，在计算机系统应用的早期，还没有积累大量的历史数据可供统计与分析。从而，联机事务处理成为整个80年代直到90年代初数据库应用的主流。　　然而，应用在不断地进步，当联机事务处理系统应用到一定阶段的时候，企业家们便发现单靠拥有联机事务处理系统已经不足以获得市场竞争的优势；他们需要对其自身业务的运作以及整个市场相关行业的态势进行分析，从而做出有利的决策。同样就拿北京各银行的储蓄业务来说，如今各家都拥有了联网的储蓄系统，再要获得市场竞争的优势，就需要在决策上下功夫，例如在业务密集地区增

7、设自助网点、推出有针对性(如：某类职业圈、某年龄段)的储蓄服务计划。这些决策需要对大量的业务数据包括历史业务数据进行分析才能得到，而这种基于业务数据的决策分析，我们把它称之为联机分析处理。如果说传统联机事务处理强调的是更新数据库——向数据库中添加信息，那么联机分析处理就是要从数据库中获取信息、利用信息。因此，著名的数据仓库专家RalphKimball写道：“我们花了20多年的时间将数据放入数据库，如今是该将它们拿出来的时候了。”　　事实上，将大量的业务数据应用于分析和统计原本是一个非常简单和自然的想法。但在实际的操作中，人们却发现要获得有用的信息并非想象的那么

8、容易：第一，所有联机事务处理强调的是数