数据仓库与数据挖掘课件1 (2).ppt

《数据仓库与数据挖掘课件1 (2).ppt》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、第2章数据仓库原理12.1数据仓库结构体系2.2数据仓库的数据模型2.3数据抽取、转换和装载2.4元数据22.1数据仓库结构体系2.1.1数据仓库结构2.1.2数据集市及其结构2.1.3数据仓库系统结构2.1.4数据仓库运行结构3近期基本数据：是最近时期的业务数据，是数据仓库用户最感兴趣的部分，数据量大。历史基本数据：近期基本数据随时间的推移，由数据仓库的时间控制机制转为历史基本数据。轻度综合数据：是从近期基本数据中提取出的，这层数据是按时间段选取，或者按数据属性（attributes）和内容（co

2、ntents）进行综合。高度综合数据层：这一层的数据是在轻度综合数据基础上的再一次综合，是一种准决策数据。2.1.1数据仓库结构45数据粒度定义粒度是指数据仓库的数据单位中保存数据的细化或综合程度的级别。细化程度越高，粒度级就越小；相反，细化程度越低，粒度级就越大。粒度深深地影响存放在数据仓库中数据量的大小，同时影响数据仓库所能回答的查询类型。在数据仓库中的数据粒度与查询的详细程度之间要做出权衡。当提高粒度级别时，数据所能回答查询的能力会随之降低。换言之，在一个很低的粒度级别上，几乎可以回答任何问题

3、，但在高粒度级别上，数据所能处理的问题的数量是有限的。6左图是一个低粒度级，每个活动(在这里是一次电话)被详细记录下来，数据的格式如图所示。到月底每个顾客平均有200条记录(全月中每个电话都记录一次)，因而总共需要40000个字节；右图的边是一个高粒度级。数据代表一位顾客一个月的综合信息，每位顾客一个月只有一个记录，这样的记录大约只需200个字节。7问题：“上星期某某顾客是否给某某人打了电话?”在低粒度级别上，完全可以回答这一问题，虽然这种回答将花费大量资源去查询大量的记录，但是问题结果是可以确定的

4、。在高粒度级别上，则无法明确地回答这个问题。假如在数据仓库中存放的只是所打电话的总数，那么就无法确定其中是否有一个电话是打给某人的。81.数据集市的产生数据仓库工作范围和成本常常是巨大的。开发数据仓库是代价很高、时间较长的大项目。提供更紧密集成的数据集市就应运产生。目前，全世界对数据仓库总投资的一半以上均集中在数据集市上。2.1.2数据集市及其结构9数据集市（DataMarts）是一种更小、更集中的数据仓库，为公司提供分析商业数据的一条廉价途径。DataMarts是指具有特定应用的数据仓库，主要针对

5、某个应用或者具体部门级的应用，支持用户获得竞争优势或者找到进入新市场的具体解决方案。2.数据集市概念103.数据集市与数据仓库差别（1）数据仓库是基于整个企业的数据模型建立的，它面向企业范围内的主题。而数据集市是按照某一特定部门的数据模型建立的。（2）部门的主题与企业的主题之间可能存在关联，也可能不存在关联。（3）数据集市的数据组织一般采用星型模型。大型数据仓库的数据组织，如NCR公司采用第三范式。111、规模是小的2、特定的应用3、面向部门4、由业务部门定义，设计和开发5、由业务部门管理和维护6、

6、快速实现7、购买较便宜8、投资快速回收9、更详细的、预先存在的数据仓库的摘要子集10、可升级到完整的数据仓库4.数据集市的特性12独立数据集市(IndependentDataMart)从属数据集市(DependentDataMart)13数据仓库系统由数据仓库（DW）、仓库管理和分析工具三部分组成。2.1.2数据仓库系统结构141、仓库管理（1）数据建模数据建模是建立数据仓库的数据模型。数据仓库的数据模型不同于数据库的数据模型在于：数据仓库只为决策分析用，不包含事务处理的数据。数据仓库的增加了时间属

7、性数据。数据仓库增加了一些综合数据。数据仓库的数据建模是适应决策用户使用的逻辑数据模型。15（2）数据抽取、转换、装载数据仓库中的数据，是通过在源数据中抽取数据，按数据仓库的逻辑数据模型的要求进行数据转换，再按物理数据模型的要求装载到数据仓库中去。数据抽取、转换、装载（ETL）是建立数据仓库的重要步骤，需要花费开发数据仓库70%的工作量。16（1）查询工具数据仓库的查询不是指对记录级数据的查询，而是指对分析要求的查询。一般包含：可视化工具：以图形化方式展示数据，可以帮助了解数据的结构，关系以及动态性

8、。2、分析工具17（2）多维分析工具（OLAP工具）通过对信息的多种可能的观察形式进行快速、一致和交互性的存取，这样便利用户对数据进行深入的分析和观察。多维数据的每一维代表对数据的一个特定的观察视角，如时间、地域、业务等。（3）数据挖掘工具从大量数据中挖掘具有规律性知识，需要利用数据挖掘（DataMining）工具。182.1.4数据仓库的运行结构数据仓库应用是一个典型的客户/服务器（C/S）结构形式：客户端所做的工作：客户交互、格式化查询、结果显示、报表生成等。服务