数据仓库技术及其在电信行业中的应用研究.pdf

《数据仓库技术及其在电信行业中的应用研究.pdf》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、1．数据仓进入2l世纪，人们对在任何时间、任何地点都能得到信息的需求是永无止境的。而传统数据库只保留了当前的业务处理的信息，缺乏决策分析所需要的大量历史信息。要从信息源中有效获取信息，采掘数据和发现知识，以满足管理人员的决策分析需要，就需要在数据库的基础上产生适应决策分析的数据环境。因此，数据仓库(DW，DataWarehouse)应运而生。1．1数据仓库的定义数据仓库是在企业管理和决策中用以更好地支持企业或组织的决策分析处理、面向问题的、集成的、不可更新的、随时间不断变化的数据集合。与其它数据库应用不同的是，数据仓库更像一种过程，即对分布在企业内部各处的业务数据的整合、加工和分析的过程

2、，而不是一种可以购买的产品。1．2数据仓库的体系结构完整的数据仓库结构一般由6个基本层次组成，如图l：L{lJ十千十自窗⋯．国t数据仓库及茸首客『竞数据首理t，数据后端处理图1数据仓库系统结构图各层次的基本功能如下：(1)数据源：为数据仓库提供数据来源。(2)数据后端处理：是将数据源的数据进行提取、清洗、转换，最终构建成数据仓库所需的数据。管理则负责管理数据仓库；元数据管理负责对元数据进行管理。(4)数据集市：是面向特定应用的决策数据集合。(5)基于数据仓库的应用：包括分析、决策应用，如OLAP、数据挖掘等。(6)数据展示：将应用结果，特别是分析、决策结果以多种媒体形式表示。2．OLAP

3、技术分析联机分析处理(OLAP)的概念最早是由E．F．Codd于1993年提出的。当时，他认为联机事务处理OLTP已经不能满足终端用户对数据库查询分析的需要，SQL对人数据库的简单查询也不能满足用户分析的需求，用户的决策分析需要对关系数据库进行人量的计算才能得到结果，而查询出来的结果已经不能满足决策者提出的需求。因此，他提出了多维数据库和多维分析的概念，即OLAP。OLAP与OLTP的比较见表l。表lOL～P与OLTP的对比0I』’POLAP用户操作人员，低层管理人员决策人员，高级管理人员功能日常操作处理分析决策DB设计面向应用面向主题当前的，最新的细节的，二历史的，聚集的，多维的，数据

4、集成的统一的，小可更新维的分立的，可更新的fu．町周期性刷新工作单位简单的事务复杂的查询用户数l二千个上百个DB大小100MB—GB100GB．TB2．1OLAP的概念及其特点OLAP委员会对于OLAP的定义：是一种分析处理技作者简介：郝园，男，湖北人，硕士研究生，研究方向：分布式数据库开发与应用软件开发。一55—术，是针对特定问题的联机数据访问与分析，通过对大量信息的多种叮能的观察形式进行快速、稳定一致和交互的存取，是决策人员对数据进行深入观察。数据库之父E．F．Codd对于OLAP的定义：oI，AP是一个赋予动态的、企业分析的名词，这些分析是注释的、熟悉的、公式化数据分析模型的生成、

5、操作、激活和信息合成。能够在变量间分辨新的或不相关的关系，能够区分对处理大量数据必要的参数，而生成一个不限数量的维和指明维的条件表达式。OLAP的特点可以概括为以下几种：快速性：用户对OLAP的快速反映能力有很高的要求。可分析性：能处理与应用有关的逻辑分析和统计分析。共享性：系统在保证安全的基础上提供多用户共享数据与信息机制。多维性：是OLAP的关键属性，系统提供对数据分析的多维视图和分析，多维分析是分析企业数据最有效的方法。是OLAP的灵魂。信息性：系统能及时获取信息，并能管理大容量的信息。假定性：需要初始的假设来给出导航数据分析的方向，最终用分析的结果来验证初始的假设。2．2OLAP

6、常用分析方法及评价准则目前OLAP常用分析方法有：数据切片和数据切块、钻取和数据旋转：OLAP的评价准则有：多维概念视图、透明性、存取能力、稳定的报表性能、客户／服务器体系结构、维的等fid性、动态稀疏矩阵处理、多用户支持能力、非受限的跨维操作、直观的数据处理、灵活的报表生成、非受限的维与维的层次。3．基于数据仓库的OLAP核心技术在一个OLAP数据模型中，信息被抽象为一个立方体，它包括维和度量。多维结构是决策支持的支柱，也是核心。OLAP展现在用户面前的是一幅幅多维视图。维是相同类数据的集合，也可以理解为变量。维有自己固有的属性，如层次结构、排序和计算逻辑，这些属性对进行决策支持是非常

7、有用的度量是一个定量值。3．1OLAP分类目前对OLAP的主要分类有以下三种：(1)关系OLAP结构：使用关系或扩充关系DBMS存放并管理数据仓库，采用基于稀疏矩阵表示方法的星形结构或雪花结构存储多维数据。(2)多维OLAP结构：核心是其数据存储采用矩阵方式，数据检索高效。(3)混合OLAP结构：结合ROLAP和MOLAP技术，在MOL廿立方体中存储高级别的聚集，在ROLAP中存储低级别的聚集。3．2ROLAP的多维表示方法ROLA