数据仓库与电信EDA简介课件.ppt

《数据仓库与电信EDA简介课件.ppt》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、数据仓库与电信EDA简介中国电信上海信息化研发中心2015年11月TOPIC一数据仓库简介三Q&A二EDA简介2数据仓库数据仓库概述1数据仓库模型设计数据仓库体系架构233数据仓库数据仓库(DataWarhouse)是一个面向主题、集成、时变、非易失的数据集合,是支持管理部门的决策过程。特征1234面向主题(SubjectOriented)数据仓库通常围绕一些主题，如“产品”、“销售商”、“消费者”等来进行组织。数据仓库关注的是决策者的数据建模与分析，而不针对日常操作和事务的处理。因此，数据仓库

2、提供了特定主题的简明视图，排除了对于决策无用的数据集成(Integrated)数据仓库通常是结合多个异种数据源构成的，异种数据源可能包括关系数据库、面向对象数据库、文本数据库、Web数据库、一般文件等时变(TimeVariant)数据存储从历史的角度提供信息，数据仓库中包含时间元素，它所提供的信息总是与时间相关联的。数掘仓库中存储的是一个时间段的数据，而不仅仅是某一个时刻的数据非易失(Nonvolatile)的数据集合数据仓库总是与操作环境下的实时应用数据物理地分离存放，因此不需要事务处理、恢复

3、和并发控制机制。数据仓库里的数据通常只需要两种操作：初始化载入和数据访问，因此其数据相对稳定，极少或根本不更新。数据仓库与生产数据库的比较操作型数据库系统分析型数据仓库系统目的支持日常操作支持管理需求、获取信息使用人员办事员、DBA、数据库专家经理、管理人员、分析专家数据内容当前数据历史数据、派生数据数据特点细节的综合的，或提炼的数据组织面向应用面向主题存取类型增加、更改、查询、删除查询、聚集数据稳定性动态的相对稳定操作需求特点操作需求事先可知道操作需求事先不知道操作特点一个时刻操作一单元一个时

4、刻操作一集合数据库设计基于ER图基于星型模式、雪花模式一次操作数据量一次操作数据量小一次操作数据量大存取频率比较高相对较低响应时间小于1秒~2、3秒几秒~几分钟数据仓库数据仓库概述1数据仓库模型设计数据仓库体系架构236数据仓库模型设计表1234事实表（FactTable）事实表包含的是业务数据信息，数据取值通常是可度量的、连续型的，且具有可加性，数据量可达到几百万甚至上亿条记录。维表（DimensionTable)维表包含的是相应维度的描述型信息，这些信息用作查询的约束条件，一般是离散的、描述

5、性的，不具有可加性。数据仓库模型设计—雪花模型数据仓库模型设计—星型模型数据仓库模型设计—多维模型数据仓库模型设计—多维模型为了分析方便，将同一维度的不同层次的维度（如地市ID,区县ID）都融合到事实表中。维度模型也是星型模型。强调的是先对维度进行预处理，将多个维度集合到一个事实表，包含了多个维度，这样可以组合各维度，形成灵活的报表查询。数据仓库数据仓库概述1数据仓库模型设计数据仓库体架构2312数据仓库体系架构数据仓库体系架构源数据一般取自生产数据库的镜像，从库；尽量减少对线上生产库的影响；按

6、文件类型：RDBMS、文本文件、HDFS、消息流等；结构化，半结构化和非结构化按取数频率：月，周，日，小时，分钟等级别数据仓库体系架构ETLETL(Extract-Transform-Load)是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。工具：Informatic,DataStage,Kettle,Datax,Sqoop数据仓库体系架构ETL-INFOMATICA数据仓库体系架构ETL-INFOMATICA数据

7、仓库体系架构仓库ETL(Extract-Transform-Load)是构建数据仓库的重要一环，用户从数据源抽取出所需的数据，经过数据清洗,最终按照预先定义好的数据仓库模型，将数据加载到数据仓库中去。工具：Informatic,DataStage,数据仓库体系架构仓库—接口层接口层也称STAGE,ODS层；特点如下：采集外围的源系统的数据；如CRM,计费等此层的数据模型与源系统基本保持一致！根据不同数据的特点，采集数据频率和实时性有所不同；数据仓库体系架构仓库—整合层整合层数据仓库的核心层；按照

8、主题体系进行组织的细节数据；一个细节数据表可以来自多个不同源系统的接口层的数据；采用统一数据模型(多维)；数据原则上是统一编码格式；数据来源----接口层；数据输出----汇总层数据仓库体系架构仓库—汇总层汇总层按主题加工需要，形成汇总数据通过维度(日期、地域、产品等)对运营、分析数据进行汇总的数据可有轻度汇总数据；然后进行高层汇总数据来源----整合层或本层数据仓库体系架构DEMOCRM计费账务流量CRM计费账务流量明细表A明细表B明细表C汇总表A汇总表B汇总层整合层接口层源数据数据仓库体系架