数据仓库与数据挖掘2-2说课讲解.ppt

《数据仓库与数据挖掘2-2说课讲解.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据仓库与数据挖掘2-2数据仓库中的数据组织粒度分区维度元数据数据仓库的数据组织形式数据仓库的数据追加2.6数据仓库中的数据组织1数据仓库中的数据组织粒度分割维度元数据数据仓库的数据组织形式数据仓库的数据追加2.6数据仓库中的数据组织22.6数据仓库中的数据组织为了提高分析和决策的效率和有效性，分析型处理及其数据必须与事务型处理及其数据相分离，把分析型处理所需要的数据从事务型处理环境中提取出来，按照分析型处理的要求进行重新组织，建立单独的分析处理环境。数据仓库正是构建这种新的分析处理环境而出现的一种数据存储和组织技术。32.6数据仓库中的数据组织数据仓库的数据组织结构不同于一般的数据库系统，

2、需要将从原有的业务数据库中获得的基本数据和综合数据分成一些不同的级别。在数据仓库中，数据按照粒度从小到大可分为四个级别：早期细节级、当前细节级、轻度细节级和高度细节级。从事务型处理环境中提取的源数据经过综合后，首先进入当前细节级，并根据需要进行进一步的综合进入轻度综合级或高度4数据仓库的数据组织结构元数据高度综合级轻度综合级当前细节级早期细节级2.6数据仓库中的数据组织5数据仓库中的数据存在着不同的综合级别早期细节级一般而言，当前细节级的数据对于决策的支持程度随数据发生时间的久远而降低。为了有效控制数据仓库中当前细节级数据的规模，保证系统的运行效率，在设计数据仓库时，通常应结合业务的特点和系

3、统硬件的水平，设定一个合理的时间阀值，将老化的数据转为早期细节级的数据，并以合适的方式进行存储。2.6数据仓库中的数据组织6数据仓库中的数据存在着不同的综合级别当前细节级来自数据源的数据，所反映的都是当前的业务情况，因此在导入数据仓库之后，首先做为当前细节级数据进行存储。这些数据规模较大，实时性强，是数据仓库用户感兴趣的部分。当前细节级的数据一方面依据数据仓库的既定规则，经过处理，得到情况度综合级和高度综合级的数据，另一方面，随时间的推移，逐渐老化，成为历史细节级数据。2.6数据仓库中的数据组织7数据仓库中的数据存在着不同的综合级别轻度综合级为了有效控制数据仓库进行决策支持时的系统开销，对当

4、前细节级的数据，通常以一定的时间段为单位进行综合。这一设定的时间段参数又称为“粒度”。以较小的粒度生成的综合数据，称为“轻度综合级数据”，其规模要远远小于当前细节级数据，因此，可以明显提高决策运算的效率。2.6数据仓库中的数据组织8数据仓库中的数据存在着不同的综合级别高度综合级以较长的时间段，即较大的粒度，对当前细节级的数据进行综合而形成的结果，称为“高度综合级数据”。高度综合级的数据内容十分精练，可以认为是一种“准决策数据”。这里，“高度”和“轻度”只是一种相对的概念没有绝对的界限。2.6数据仓库中的数据组织9数据仓库的数据组织结构的一个例子高度综合级轻度综合级当前细节级早期细节级1990

5、-2004年每月销售表1996-2004年每周销售表1996-2004年销售情况表1990-1995年销售明细表数据仓库中的数据组织2.6数据仓库中的数据组织10数据仓库中的数据组织粒度分割维度元数据数据仓库的数据组织形式数据仓库的数据追加2.6数据仓库中的数据组织11粒度对数据仓库中的数据综合程度高低的一个度量。例如：一个简单的交易处于低粒度级，而每月所有交易的汇总和处于一个高粒度级。粒度会深刻地影响存放在数据仓库中的数据量的大小以及数据仓库所能够回答的查询类型。在数据仓库中的数据量大小与所能回答查询的细节级别之间要做出权衡。2.6数据仓库中的数据组织12粒度一个顾客一个月中每次通话的细节

6、一个顾客一个月中通话的综合CassSquire上星期给他在波士顿的女友打过电话没有？能回答，尽管需要一定数量的检索根本不能回答，细节已经丢失“上个月，华盛顿人平均打出多少个电话？”由此可见，粒度级别对于能回答什么问题和问答问题所需资源多少有深刻的影响。2.6数据仓库中的数据组织13粒度粒度的权衡是固有的，所以大多数企业的最佳解决方法是采用多重粒度的形式低粒度高粒度能回答任何问题效率低数据量大不能回答所有问题效率高数据量小2.6数据仓库中的数据组织14粒度分为两种形式：对数据仓库中的数据的综合程度高低的一个度量粒度越小，细节程度越高，综合程度越低粒度大小影响数据仓库效率、能回答询问的种类“张三

7、在某时某地是否给李四打过电话？”“张三去年共打了几次长途电话”“某地区今年长途与普通电话费用之比”“今年长途／普通电话费用增长率”“预测未来长途／普通电话费用变化趋势”数据仓库是多粒度的，不同的粒度回答不同的查询2.6数据仓库中的数据组织15粒度分为两种形式：样本数据库在分析过程中，有许多探索的过程有时分析的目的并不要求精确的结果，只需要得到相对准确、能反映趋势的数据，所以可以提取出样本数据库。样本数据库的粒