数据仓库及其案例介绍

《数据仓库及其案例介绍》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据仓库及其案例张千福zhangqianfu@sina.com目的掌握数据仓库的基本概念和数据中心的体系架构。掌握有关商业智能和数据仓库的重要术语了解数据中心建设过程了解公司数据仓库项目重要案例培训提纲概念重要术语关键技术数据质量方法论典型案例历史沿革计算机数据管理的历史：1961年通用电气开发出网状数据库管理系统—集成数据存储（IntegratedDataStoreIDS）。1968年IBM公司开发出层次数据库的IMS（InformationManagementSystem）。1970年关系模型建立。IBM研发全功能关系DBMS—System

2、R。1973年加州大学伯克利分校开发出关系数据库系统Ingres。后来由Oracle公司、Ingres公司等厂商商品化。在20世纪70年代提出了决策支持系统概念。在1970年，联机分析处理工具——Express诞生了。1980年明确了其部件结构（对话部件、数据部件、模型部件）。1988年，IBM公司的研究者BarryDevlin和PaulMurphy发明了一个新的术语—信息仓库，之后，IT的厂商开始构建实验性的数据仓库。1991年，W.H."Bill"Inmon出版《如何构建数据仓库》。把数据仓库、联机分析处理、数据挖掘、模型库、数据库、知识库

3、结合起来形成综合决策支持系统（SyntheticDecisionSupportSystem,SDSS）是今后的发展方向。数据仓库的概念[WilliamH.Inmon]：数据仓库是在企业管理和决策中面向主题的、集成的、与时间相关的、不可修改的数据集合。与其他数据库应用不同的是，数据仓库更像一种过程，对分布在企业内部各处的业务数据的整合、加工和分析的过程。企业管理与决策基层业务人员中层管理人员高层决策人员操作型数据操作型应用企业级操作型数据企业级操作型应用分析型(战术)数据分析型(战术)应用分析型(战略)数据分析型(战略)应用管理信息（数据分析）决

4、策信息（辅助决策）基础数据（统计查询）数据范围数据汇总粒度数据仓库的特点1、面向主题操作型数据库的数据组织面向事务处理任务，各个业务系统之间各自分离，而数据仓库中的数据是按照一定的主题域进行组织的。2、集成的数据仓库中的数据是在对原有分散的数据库数据抽取、清理的基础上经过系统加工、汇总和整理得到的，必须消除源数据中的不一致性，以保证数据仓库内的信息是关于整个企业的一致的全局信息。3、相对稳定的数据仓库的数据主要供企业决策分析之用，所涉及的数据操作主要是数据查询，一旦某个数据进入数据仓库以后，一般情况下将被长期保留，也就是数据仓库中一般有大量的查

5、询操作，但修改和删除操作很少，通常只需要定期的加载、刷新。4、反映历史变化数据仓库中的数据通常包含历史信息，系统记录了企业从过去某一时点(如开始应用数据仓库的时点)到目前的各个阶段的信息，通过这些信息，可以对企业的发展历程和未来趋势做出定量分析和预测。数据仓库－面向主题数据仓库系统结构数据仓库主要包括数据的提取、转换与装载(ETL)、元数据、数据集市和操作数据存储等部分，常用的数据仓库结构如图所示。IBM数据仓库解决方案Oracle解决方案粤电数据仓库信息展现源数据数据获取数据存储数据展现环保数据……电量数据人力资源抽取转化过滤加载随即查询报表

6、多维分析KPI分析页面集成直接用户(开发人员)粤电用户粤电用户应用服务器关型模型转换立方体挖掘Oracle9i数据管理OWBReportDiscovererBIBeanPortalOEM数据转换中间库EHRKPIMDATARDATA中调实时接口电厂KPI电厂KPI……元数据SAPBW解决方案ODSInfoCubeNon-SAPDataSources(Flatfile,XMLorDBConnect)BExWebBasedBEx明细数据业务仓库SAPR/3SAP-BW数据源前端展现培训提纲概念重要术语关键技术数据质量方法论典型案例数据集市人们在早期

7、开发企业级数据仓库时，一般是先建立一个全局的数据仓库，然后在此基础上建立各种应用，即“自顶向下”的方法。但在开发的过程中会出现以下问题。(1)如果按“自顶向下”的方法建立企业级数据仓库，建设规模往往较大，建设周期长，投资大。(2)在数据仓库建好后，随着使用数据仓库的部门增多，对数据仓库资源的竞争将成为企业面临的—个难题。(3)各个部门希望能定制数据仓库中的数据，但数据仓库是面向企业的。数据集市外部数据构建数据仓库--自顶向下数据集市建造企业数据仓库建设中心数据模型一次性的完成数据的重构工作最小化数据冗余度和不一致性存储详细的历史数据从企业数据仓

8、库中建造数据集市得到大部分的集成数据直接依赖于数据仓库的可用性操作数据问题投资效益的时间?建设中心数据模型的必要性和可能性?初始费用?企业数据仓库构建