ch04数据仓库与OLAP技术.pdf

《ch04数据仓库与OLAP技术.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、DataMining:ConceptsandTechniques—Chapter4—1第4章:数据仓库与OLAP技术数据仓库:基本概念数据仓库建模:数据立方体和OLAP数据仓库设计和使用数据仓库实现数据泛化：面向属性的归纳小结2什么是数据仓库?(1)著名的数据仓库专家William.H.Inmon在其著作《BuildingtheDataWarehouse》中给予如下描述：数据仓库是一个面向主题的、集成的、时变的、非易失的数据集合，用于支持管理决策面向主题的（subject-oriented）：数据仓库

2、中的数据是按照一定的主题域进行组织。主题是一个抽象的概念，是指用户使用数据仓库进行决策时所关心的重点方面，一个主题通常与多个操作型信息系统相关3什么是数据仓库?(2)集成的（integrated）：数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以确保命名约定、编码结构、属性度量等的一致性时变的（time-variant）：数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这

3、些信息，可以对企业的发展历程和未来趋势做出定量分析和预测4什么是数据仓库?(3)非易失的（nonvolatile）：数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据的初始化装入和数据访问，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，即数据仓库中一般有大量的查询操作，但修改和删除操作很少，通常只需要定期的加载、刷新，不需要事务处理、恢复和并发控制机制数据仓库的构造需要数据集成、数据清理和数据统一数据仓库的构造需要决策支持技术数据仓库使用更新驱动而不是查询驱动的方法对异种数据库集成5数据

4、仓库vs.操作数据库系统联机操作数据库系统的主要任务是执行联机事务和查询处理，称为OLTP系统数据仓库在数据分析和决策方面为用户提供服务，称为OLAP系统OLTP和OLAP的主要区别OLTP和OLAP的主要区别OLTPOLAP功能日常操作长期信息需求，决策支持特征操作处理信息处理系统面向性事务和查询处理数据分析用户面向性客户知识工人数据内容当前的，确保最新历史的，跨时间维护汇总性原始的，高度详细汇总的，统一的数据库设计基于E-R，面向应用星型/雪花，面向主题视图详细，一般关系汇总的，多维的访问模式短的，原子事务

5、复杂查询存取方式读/写只读关注目标数据进入信息输出操作方式主关键字上索引/散列大量扫描访问记录数量数十个数百万DB规模100MB到GB100GB到TB用户数数千数百优先需求高性能，高可用性高灵活性，端点用户自治性能度量方式事务吞吐量查询吞吐量，响应时间数据库与数据仓库分离的原因?提高两个系统各自的性能操作数据库—为已知的任务和负载设计，如主关键字索引和散列、检索特定的记录等数据仓库—查询很复杂，涉及大量数据在汇总级的计算，需要特殊的数据组织、存取方法和基于多维视图的实现方法操作数据库—支持多事务的并行处理，需

6、要加锁和日志等并行控制和恢复机制；OLAP查询—只需要对数据记录只读访问，进行汇总和聚类。若将并行控制和恢复机制用于OLAP操作，危害并行事务的运行，大大降低OLTP的吞吐量系统数据结构、内容和用法不同操作数据库—数据丰富，但不提供历史数据，只维护详细的原始数据决策支持—需要历史数据，需要将异种源的数据统一、聚集和汇总8数据仓库:多层架构监测器OLAP服务器元数据&其它资源集成器可视化多维化处理处理分析抽取查询操作数据库转换服务报表装载数据仓库刷新数据挖掘可视化处理多维化处理数据集市数据源数据存储OLAP机制前

7、端工具三种数据仓库模型企业仓库(Enterprisewarehouse)搜集了关于主题的所有信息，跨越整个组织包含详细数据和汇总数据，需要广泛的商务建模数据集市(DataMart)包含企业范围数据的一个子集，对于特定的用户是有用的。范围限于选定的主题根据数据来源的不同，分为独立的和依赖的两类独立数据集市的数据来自一个或多个操作的系统或外部信息提供者，或来自特定部门或地域产生的数据依赖数据集市的数据直接来自企业数据仓库虚拟仓库(Virtualwarehouse)：是操作数据库上视图的集合10数据抽取,

8、转换和加载(ETL)数据抽取从多个不同的外部数据源收集数据数据清理检测数据中错误，可能时订正错误数据转换将数据由遗产或宿主格式转换成数据仓库格数据加载排序、综合、合并、计算视图、检查整体性、建立索引和划分数据刷新传播由数据源到数据仓库的更新11元数据存储元数据是关于数据的数据。在数据仓库中，元数据是定义仓库对象的数据。对于