了解数据仓库及其应用--刘悦华.ppt

《了解数据仓库及其应用--刘悦华.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、目录数据仓库和数据库的对比数据仓库的体系结构数据仓库的参照结构数据挖掘概述知识挖掘系统的体系结构OLAP技术介绍数据分析模型概述数据仓库与数据库的对比对比内容数据库数据仓库数据内容当前值历史的、存档的、归纳的、计算的数据数据目标面向业务操作程序、重复处理面向主题域、管理决策分析应用数据特性动态变化、按字段更新静态、不能直接更新、只定时添加数据结构高度结构化、复杂、适合操作计算简单、适合分析使用频率高中到低数据访问量每个事务只访问少量记录有的事务可能要访问大量记录对响应时间的要求以秒为单位计量以秒、分钟、甚至小时为计量单位OLTP与OLAP的比较OLAP所用数据来自O

2、LTP数据库?进行了预综合和多维化处理?OLAP更强调界面的可视化和灵活性?可视化：多维报表，各种统计图形，…?灵活性：切片、切块、旋转；逐层细化，…OLAP&OLTP的主要区别（1）不同的性能需求联机事务处理(OLTP):?快速的相应时间非常重要(<1second)?在任何时候，数据随时更新，必须保持数据的一致性和完整性?联机分析处理(OLAP):?查询可能耗费大量的资源?可能使得CPUs和磁盘处于紧张的工作状态?操作通常基于某一个时间点的静态的数据“快照”?OLAP与OLTP必须实现环境分离?OLAP可能导致OLTP系统性能的降低，甚至崩溃?例如:?分析查询需要

3、计算所有的销售量?为保证数据的一致性，防止脏数据的读出，对销售表进行“加锁”?新的销售事务无法提交OLAP&OLTP的主要区别（2）不同的数据建模需求联机事务处理(OLTP):?为保证数据的一致性，需要设计规范化的模式?复杂的数据模型，包含大量的数据表?查询和修改操作相对比较受限?联机分析处理(OLAP):?简单的数据模型非常重要?允许业务人员执行各类即席查询?通常采用非规范化的模型?更少的连接操作→提高查询性能?更少的数据表→易于理解数据模式OLAP&OLTP的主要区别（3）分析需要综合多个不同的数据源OLTP系统主要服务于某一个特定的应用系统例如:在线商场的订单

4、管理系统?OLAP需要集成多个不同的数据源?包含销售、订单、采购等?OLAP包含历史数据?确定长时间范围内的一些模式?发现一段时间内的变化情况?数据集成是OLAP系统的重点之一数据仓库的体系结构数据仓库的概念结构从数据仓库的概念结构看，应该包含：数据源、数据准备区、数据仓库数据库、数据集市/知识挖掘库以及各种管理工具和应用工具。数据源业务系统外部数据源数据准备区数据仓库数据库应用工具管理工具数据集市/知识挖掘库应用工具数据集市/知识挖掘库图1.1数据仓库的概念结构虚拟数据仓库结构虚拟数据仓库利用描述了业务系统中数据位置和抽取数据算法的元数据直接从业务系统中抽取查询的

5、数据进行概括、聚合操作后，将最终结果提供给用户用户图1.2虚拟数据仓库结构数据仓库查询管理服务器业务系统数据库数据集市结构数据集市结构或称为主题结构的数据仓库是按照主题进行构思所形成的数据仓库，没有一个独立的数据仓库。系统的数据不存储在同一数据仓库中，每个主题有自己的物理存储区。单一数据仓库结构将所有的主题都集中到一个大型数据库中的体系结构。数据源中数据被按照同一标准抽取到独立的数据仓库中，用户在使用时再根据主题将数据仓库中的数据发布到数据集市中。数据仓库查询管理服务器业务系统数据库数据仓库数据集市1数据集市2分布式数据仓库结构在企业各个分公司具有相当大的独立性时，

6、企业总部设置一个全局数据仓库，各个分公司设置各自的局部数据仓库。局部数据仓库主要存储各自的未经转换的细节数据，全局数据仓库中主要存储经过转换的综合数据站点A站点B站点C站点D全局数据仓库局部数据仓库局部数据仓库局部数据仓库局部数据仓库总部数据仓库的参照结构数据仓库的基本功能包含：数据抽取，数据筛选、清理，清理后的数据加载，设立数据集市，完成数据仓库的查询、决策分析和知识的挖掘等操作。数据仓库的管理层分成数据管理与元数据管理两部分，主要负责对数据仓库中的数据抽取、清理、加载、更新与刷新等操作进行管理。数据仓库环境支持层包含数据传输和数据仓库基础两部分。数据仓库基本功能

7、层数据仓库管理层数据仓库环境支持层数据仓库基本功能层数据源数据准备区数据仓库结构数据集市/知识挖掘库存取与使用数据来源主要包含：业务数据、历史数据、办公数据、Web数据、外部数据以及数据源元数据数据准备区的功能结构部分由数据标准化处理、数据的过滤与匹配、数据的净化处理、标明数据的时间戳、确认数据质量与元数据抽取和创建等操作组成数据仓库的功能结构部分由数据重整和数据仓库创建以及元数据管理组成数据集市/知识挖掘库的功能结构与数据仓库的功能结构极为相似数据仓库的数据存取与使用结构主要为数据仓库的最终用户提供进行决策分析和挖掘知识的功能。数据仓库的数据存取与使用结构应该