数据仓库(data warehouse)

《数据仓库(data warehouse)》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据仓库(DataWarehouse)北京科技大学武森内容安排1数据仓库概述2多维数据模型3数据仓库的体系结构4数据仓库的数据组织5数据仓库的数据预处理6数据仓库应用举例内容安排1数据仓库概述2多维数据模型3数据仓库的体系结构4数据仓库的数据组织5数据仓库的数据预处理6数据仓库应用举例1数据仓库概述1.1数据仓库的产生与发展1.2数据仓库的含义与特征1.3操作型数据库系统与数据仓库1.4数据仓库的基本结构1.5数据仓库的相关概念1.1数据仓库的产生与发展最早发轫于80年代初W.H.Inmon的研究，存在于其“记录系统”、

2、“本原数据”、“决策支持数据库”等研究专题中[1]。数据仓库的具体概念是W.H.Inmon在1992年出版的《建立数据仓库》一书中提出的，目前它被认为是解决信息技术在发展中一方面拥有大量数据，另一方面有用信息却很贫乏这种不正常现象的综合解决方案。1.2数据仓库的含义与特征数据仓库的含义(W.H.Inmon)“数据仓库是面向主题的、综合的、不同时间的、稳定的数据的集合，用以支持经营管理中的决策制定过程（Adatawarehouseisasubject-oriented,integrated,time-variant,and

3、nonvolatilecollectionofdatainsupportofmanagement’sdecisionmakingprocess）”。1.2数据仓库的含义与特征对数据仓库含义的理解通俗地讲，数据仓库就是企业内部一种专门的数据存储，专门用于支持分析型数据查询。（1）专门的数据存储以多维数据模型进行存储，该模型能够反映实际的商业分析需求，并支持预先未知的具体数据查询操作。（2）分析型数据查询工具数据仓库是Lotus1-2-3和MicrosoftExcel等工具的延伸与发展，目的在于使得分析能够更准确、更快速、更

4、灵活、更有效，支持的数据量更大。1.2数据仓库的含义与特征数据仓库的特征（1）数据仓库是面向主题的：传统数据库应用按照业务处理流程来组织数据，目的在于提高处理的速度。主题是一个在较高层次将数据进行归类的标准，满足该领域分析决策的需要。（2）数据仓库是集成性的：数据仓库中的数据来自于多个应用系统，不仅要统一原始数据中的所有矛盾，如同名异义，异名同义等，而且要将这些数据统一到数据仓库的数据模式上来。（3）数据仓库是随时间而变化的：数据仓库随着时间变化要不断增加新的内容。由于数据仓库常常用作趋势预测分析，所以需要保留足够长时间

5、的历史数据，一般为5－10年。（4）数据仓库是稳定的：数据仓库的这种稳定性指的是数据仓库中的数据主要供企业决策分析之用，决策人员所涉及的数据操作主要是数据查询，一般情况下并不进行数据修改。1.2数据仓库的含义与特征数据仓库还具有以下特点：（1）数据仓库中的数据量非常大。通常的数据仓库的数据量为10GB级，相当于一般数据库100MB的100倍，大型数据仓库的数据量可以达到一个TB（1000GB）。数据中索引和综合数据占2/3，原始数据占1/3[3]。（2）数据仓库是数据库技术的一种新的应用，而且到目前为止，数据仓库一般还是

6、应用数据库管理系统来管理其中的数据。（3）数据仓库的使用人员较少。1.3操作型数据库系统与数据仓库操作型数据库系统分析型数据仓库系统目的支持日常操作支持管理需求、获取信息使用人员办事员、DBA、数据库专家经理、管理人员、分析专家数据内容当前数据历史数据、派生数据数据特点细节的综合的，或提炼的数据组织面向应用面向主题存取类型增加、更改、查询、删除查询、聚集数据稳定性动态的相对稳定操作需求特点操作需求事先可知道操作需求事先不知道操作特点一个时刻操作一单元一个时刻操作一集合数据库设计基于ER图基于星型模式、雪花模式一次操作数据

7、量一次操作数据量小一次操作数据量大存取频率比较高相对较低响应时间小于1秒~2、3秒几秒~几分钟1.4数据仓库的基本结构可视化应用工具数据存储数据源OLAP数据挖掘数据仓库外部数据内部数据legacysystems“2001年与2000年相比产品P在地区R的销售增长是多少?”“我们拥有的客户有怎样的特点？”抽取清理转换图1-1数据仓库的基本体系结构1.5数据仓库的相关概念粒度粒度（Granularity）是指数据仓库中数据单元的详细程度和级别。数据越详细，粒度越小级别就越低；数据综合度越高，粒度越大级别就越高。在传统的操作

8、型数据库系统中，对数据处理和操作都是在最低级的粒度上进行的。但是在数据仓库环境中应用的主要是分析型处理，一般需要将数据划分为：详细数据，轻度总结、高度总结三级或更多级粒度。1.5数据仓库的相关概念维度维（Dimension）是指人们观察事物的特定的角度，概念上类似于关系表的属性。例如：企业常常关心产品销售数据随着时间