2、数据仓库和数据挖掘的olap技术new

《2、数据仓库和数据挖掘的olap技术new》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据仓库和数据挖掘的OLAP技术数据仓库－数据挖掘的有效平台¢数据仓库中的数据清理和数据集成，是数据挖掘的重要数据预处理步骤¢数据仓库提供OLAP工具，可用于不同粒度的数据分析¢很多数据挖掘功能都可以和OLAP操作集成，以提供不同概念层上的知识发现ß分类ß预测ß关联ß聚集什么是数据仓库?¢数据仓库的定义很多，但却很难有一种严格的定义ß它是一个提供决策支持功能的数据库，它与公司的操作数据库分开维护。ß为统一的历史数据分析提供坚实的平台，对信息处理提供支持¢数据仓库区别于其他数据存储系统ß“数据仓库是一个面向主题的、集成的、随时间而变化的、不容易丢失的数据集合，支持管理部门的决策过程.”—W.H.

2、Inmon数据仓库关键特征一——面向主题¢面向主题，是数据仓库显著区别于关系数据库系统的一个特征ß围绕一些主题，如顾客、供应商、产品等ß关注决策者的数据建模与分析，而不是集中于组织机构的日常操作和事务处理。ß排除对于决策无用的数据，提供特定主题的简明视图。数据仓库关键特征二——数据集成¢一个数据仓库是通过集成多个异种数据源来构造的。ß关系数据库，一般文件，联机事务处理记录¢使用数据清理和数据集成技术。ß确保命名约定、编码结构、属性度量等的一致性。ß当数据被移到数据仓库时，它们要经过转化。数据仓库关键特征三——随时间而变化¢数据仓库是从历史的角度提供信息ß数据仓库的时间范围比操作数据库系统要长的

3、多。¢操作数据库系统:主要保存当前数据。¢数据仓库:从历史的角度提供信息（比如过去5-10年）ß数据仓库中的每一个关键结构都隐式或显式地包含时间元素，而操作数据库中的关键结构可能就不包括时间元素。数据仓库关键特征四——数据不易丢失¢尽管数据仓库中的数据来自于操作数据库，但他们却是在物理上分离保存的。ß操作数据库的更新操作不会出现在数据仓库环境下。ß不需要事务处理，恢复，和并发控制等机制ß只需要两种数据访问:¢数据的初始转载和数据访问（读操作）数据仓库与异种数据库集成¢异种数据库的集成方法ß传统的异种数据库集成:（查询驱动）¢在多个异种数据库上建立包装程序（wrappers）和中介程序（medi

4、ators）¢查询驱动方法——当从客户端传过来一个查询时，首先使用元数据字典将查询转换成相应异种数据库上的查询；然后，将这些查询映射和发送到局部查询处理器ß数据仓库:（更新驱动）¢将来自多个异种源的信息预先集成，并存储在数据仓库中，供直接查询和分析数据仓库与操作数据库系统¢操作数据库系统的主要任务是联机事务处理OLTPß日常操作:购买，库存，银行，制造，工资，注册，记帐等¢数据仓库的主要任务是联机分析处理OLAPß数据分析和决策支持，支持以不同的形式显示数据以满足不同的用户需要OLAPVS.OLTP(1)¢用户和系统的面向性ß面向顾客（事务）VS.面向市场（分析）¢数据内容ß当前的、详细的数据

5、VS.历史的、汇总的数据¢数据库设计ß实体－联系模型(ER)和面向应用的数据库设计VS.星型/雪花模型和面向主题的数据库设计OLAPVS.OLTP(2)¢数据视图ß当前的、企业内部的数据VS.经过演化的、集成的数据¢访问模式ß事务操作VS.只读查询（但很多是复杂的查询）¢任务单位ß简短的事务VS.复杂的查询¢访问数据量ß数十个VS.数百万个OLAPVS.OLTP(3)¢用户数ß数千个VS.数百个¢数据库规模ß100M-数GBVS.100GB-数TB¢设计优先性ß高性能、高可用性VS.高灵活性、端点用户自治¢度量ß事务吞吐量VS.查询吞吐量、响应时间为什么需要一个分离的数据仓库?¢提高两个系统的

6、性能ßDBMS是为OLTP而设计的：存储方式,索引,并发控制,恢复ß数据仓库是为OLAP而设计：复杂的OLAP查询,多维视图，汇总¢不同的功能和不同的数据:ß历史数据:决策支持需要历史数据，而这些数据在操作数据库中一般不会去维护ß数据汇总：决策支持需要将来自异种源的数据统一（如聚集和汇总）ß数据质量:不同的源使用不一致的数据表示、编码和格式，对这些数据进行有效的分析需要将他们转化后进行集成多维数据模型(1)¢数据仓库和OLAP工具基于多维数据模型¢在多维数据模型中，数据以数据立方体(datacube)的形式存在ß数据立方体允许以多维数据建模和观察。它由维和事实定义¢维是关于一个组织想要记录的视

7、角或观点。每个维都有一个表与之相关联，称为维表。ß多维数据模型围绕中心主题组织，该主题用事实表表示¢事实表包括事实的名称或度量以及每个相关维表的关键字¢事实指的是一些数字度量多维数据模型(2)——示例time维表time_keyitem维表dayitem_keyday_of_the_weekSales事实表item_namemonthbrandquartertime_keytypeyearsupp