第二章基于数据仓库的数据挖掘技术ppt课件.ppt

《第二章基于数据仓库的数据挖掘技术ppt课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、第二章数据仓库原理本章内容提要：1、介绍数据仓库的结构和技术要求2、介绍数据仓库的数据组织和模型3、介绍元数据第一节数据仓库的结构和技术要求一、数据仓库的总体结构（一）数据仓库的概念结构数据仓库的概念结构包含数据源、数据准备区、数据仓库、数据集市以及各种管理工具和应用工具等等。数据准备区数据仓库数据集市应用工具用户内部数据源外部数据源管理工具（二）数据仓库的层次结构（1）功能层完成数据仓库和数据集市的结构、数据的存取和使用等功能（2）管理层数据管理和元数据管理（3）环境支持层数据传输和数据仓库基础结构（三）数据仓库

2、的结构模式（1）数据仓库的自顶向下结构（2）数据仓库的自底向上结构比较：指导思想集成的力度数据集市中的数据粒度（3）企业级数据集市结构（EDMA）通过创建一个共享的结构，EDMA支持由数据集市到数据仓库的开发。EDMA框架包括企业主题域、通用维、度量、业务规则和数据源，所有这些都在逻辑上统一的全局元数据中心库中表示出来。这种框架不是固定不变的，它随数据仓库的开发而不断调整。数据源数据源数据源数据驻留单元数据集市数据集市数据集市数据仓库应用服务器全局元数据中心库企业级数据集市结构（EDMA）二、数据集市（一）数据集市（D

3、ataMart）的定义数据集市是针对某个具有战略意义的应用或者具体部门级的应用的数据仓库，它支持用户利用已有的数据进行管理决策。（二）数据集市的特点①规模小，可采用多种方式灵活组织。②工作由业务部门主持定义、设计、实施、管理和维护。③快速实现，代价较低，投资回收快，风险小。④紧密集成。⑤可升级到数据仓库。（三）数据集市的类型①从属数据集市②独立数据集市注：可以从数据仓库的结构模式来理解。三、数据仓库的技术要求（一）数据管理技术大批量数据管理技术、数据仓库索引和数据监视技术、元数据管理技术、数据压缩技术和复合键码技术等等

4、。（二）数据存储技术多介质存储设备管理技术、数据存储控制技术、数据并行存储技术、可变长技术、锁切换技术等等。（三）数据仓库接口技术多技术接口技术、多语言接口技术、数据的高效装载技术等等。第二节数据仓库的数据组织和模型一、数据仓库的数据组织数据仓库系统通常由数据仓库、管理部分和分析工具三个部分组成。数据库数据文件其它数据仓库管理工具抽取/转换/装载元数据管理数据建模工具元数据综合数据当前数据历史数据用户查询工具C/S工具OLAP工具数据挖掘工具管理部分存储部分应用部分数据仓库系统（一）数据仓库管理部分（1）建模工具，主要

5、用于完成定义数据源、数据仓库以及两者相互转换、清理的规则等工作。（2）抽取/转换/装载，主要用于完成获取数据、消除不一致现象和集成数据等工作。（3）管理工具，主要用于完成数据仓库中数据的维护、安全、备份、恢复、日志等工作。（4）元数据管理，主要用于完成元数据的管理、存储以及对整个数据仓库的检测等工作。（二）数据仓库存储部分数据仓库中数据的组织通常采用分级的方式来进行的，一般包括早期细节数据、当前细节数据、轻度综合数据、高度综合数据以及元数据等五部分组成。（三）数据仓库应用部分数据仓库应用部分主要由一些分析工具组成，主要

6、包括检索查询工具、联机分析处理工具和数据挖掘工具等等组成。数据仓库系统采用典型的客户机/服务器结构形式，其客户端的工作主要包括客户交互、格式化查询、可视化以及报表生成等内容，服务器端完成各种复杂的计算以及其它综合功能。这种方式有助于提高性能和可靠性、降低数据传输量以及保证数据的安全性等方面具有很大的好处。二、数据仓库的数据模型（一）数据模型设计过程与方法数据模型是对现实世界进行抽象的工具，需要将现实世界的事物及其有关特征转换为信息世界的数据，才能对信息进行处理与管理，这就需要依靠数据模型作为这种转换的桥梁。这种转换经历

7、了现实世界、概念世界、逻辑世界和计算机世界等环节。身高张三客户客户与产品特性个体整体整体间联系属性实体同质总体异质总体字段记录表文件数据库现实世界概念世界逻辑世界计算机世界信息包图法物理数据模型法星型图法概念模型逻辑模型物理模型面向用户的需求具体的技术细节细化作为数据仓库设计的模型，除了要有描述概念世界的概念模型、描述逻辑世界的逻辑模型和描述计算机世界的物理模型以外，还有元数据模型和数据粒度模型。现实世界概念模型逻辑模型物理模型数据仓库元数据模型数据粒度模型（二）概念模型设计（信息包图）在需求分析阶段，通过与用户的交流

8、，明确用户的需求，并将这些需求抽象为信息结构（即概念模型）的过程被称为概念模型设计。因为数据仓库具有多维性，即其维度多在三维或者三维以上，数据呈现难以直观化，所以在此可以采用一种称为信息包图的方法在平面上将多维空间展开，即用二维表格来传递决策者分析处理的需求，来反映数据仓库的多维性。信息包图是一种公共的、一致的和紧凑的概念模型设计