阿里数据仓库模型设计

《阿里数据仓库模型设计》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、数据建模介绍数据仓库构造方法自上而下BillInmon从整个企业的业务环境入手，分析其中的概念，应该有什么样的数据，达成概念完整性，并不从它需要支持那些应用入手。一个企业建立唯一的数据中心，就像一个数据的仓库，其中数据是经过整合、经过清洗、去掉脏数据的、标准的，能够提供统一的视图。自下而上RalphKimbal按照实际的应用需求，加载需要的数据，不需要的数据不必要加载到数据仓库当中。这种方式建设周期较短，客户能够很快看到结果，适合做项目类数据仓库。混合法结合自上而下、自下而上两种构造数据仓库的方法，结合企业自身特点，分析业务环境构造数据仓库底层数据基础，再按照实际的应

2、用需求构造数据仓库上层数据。支付宝业务系统简介业务特点类金融交易：充值、提现、账务管理类电子商务：购物交易过程变更、实际交易（对B机票、对C水电等）非纯电子商务；纯金融线上子系统多而杂截止到2011年6月共有各类线上子系统259个类型多样：对C、对B、对内、对金融机构系统间依赖程度参差不齐垂直依赖（业务与核心）跨层依赖（跨过交易到账务）支付宝业务系统四大平台资金平台客户平台支付平台交易平台五大域商户域用户域支撑域风控域无线域两条线会员线金融线支付宝数据仓库架构原则底层业务的数据驱动为导向同时结合业务需求驱动便于数据分析屏蔽底层复杂业务简单、完整、集成的将数据暴露给分析

3、层底层业务变动与上层需求变动对模型冲击最小化业务系统变化影响削弱在基础数据层（资金订单改造）结合自上而下的建设方法削弱需求变动对模型的影响数据水平层次清晰化高内聚松耦合主题之内或各个完整意义的系统内数据的高内聚主题之间或各个完整意义的系统间数据的松耦合构建仓库基础数据层使得底层业务数据整合工作与上层应用开发工作相隔离，为仓库大规模开发奠定基础仓库层次更加清晰，对外暴露数据更加统一传统仓库架构方法需求驱动为主…支付宝交易主题现状数据仓库模型建设目标示意图仓库基础数据层建设的意义避免底层业务变动对上层需求影响过大屏蔽底层复杂的业务逻辑，尽可能简单、完整的在接口层呈现业务数

4、据仓库数据更加丰富建设高内聚松耦合的数据组织，使得数据从业务角度可分割，有助于数据和团队的扩展。第三方支付企业支付宝数据仓库体系结构点击流数据（Clickstream）数据库数据（OLTP）文档数据（Documents）其它数据（Other）源数据明细数据（DWD）数据仓库ETL报表展示自定义查询数据分析数据应用数据挖掘元数据管理数据质量监控KPI账单应用日志产品应用高粒度汇总数据（DWS）其它……数据集市、宽表（DM）数据应用（ST）低粒度汇总加工数据（DWB）建立企业级概念数据模型(CDM)的基本架构相关方安排位置相关方关系相关方及安排间的关系相关方描述相关方类型

5、业务概念框架提供了一套通用的结构，它描述了所有业务环境IBM业务概念间最初的关系提供了相关方合约位置分类产品/服务资源事件业务方向条件安排类型所有业务信息都是可以用九大概念的词汇来表示每一种信息概念都可用三个分层来详细说明：分类分层（是什么）描述分层（有什么）关系分层（做什么）九大数据概念变迁IBMFSDM九大数据概念支付宝九大数据概念当事人地理位置协议资源项事件产品分类条件业务方向介质介质帐户渠道主要变化：1.将产品中的介质以及分类中的帐户和渠道独立出来作为单独的数据概念2.条件和分类不作为单独的数据概念，分散在各个数据概念中。3.业务方向中的部分在事件数据概念中体

6、现当事人地理位置协议资源项事件产品介质渠道帐户条件条件分类条件分类条件条件分类业务方向第三方支付企业支付宝数据模型设计基于OMG推出的数据仓库元数据管理的CWM模型(CommonWarehouseMetamodel)物理模型设计PDM设计方法参考IBM的FSDM金融行业的数据仓库通用模板参考NCRTeradata金融服务逻辑数据模型（FS-LDM），参考新巴塞尔资本协议（BaselIICapitalAccord）需提供三到五年的数据的规范综合上述规范和要求，同时结合支付宝实际的业务，推出数据仓库5层架构体系DW五层模型是按照EDW各个应用层次的需求进行分层细化而来的，

7、每个层次满足不同的应用。分为以下5层：1.ODS数据准备层2.DWD数据明细层3.DW(B/S)数据汇总层4.DM数据集市层5.ST数据应用层DW五层模型架构介绍DW五层模型架构介绍ODS层ST层DM层DW层DWD层数据来源及建模方式服务领域数据准备区，数据来源是各业务系统的源数据，物理模型和业务系统模型一致。数据来自ODS层，是DW明细事实层,数据模型是ODS一致数据来自DWD层，是DW事实层，采用维度建模，星型架构,这一层可细分为dwb和dws数据来自DW层，采用维度建模，星型架构数据来自DW层，采用维度建模，星型架构为其它逻辑层提供数据，为统一