数据仓库-etl开发流程

《数据仓库-etl开发流程》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、NCR-DW2_张雷勇上海天正软件公司数据仓库-ETL开发流程ETL开发准备工作ETL开发SDM设计ETL开发脚本开发ETL开发脚本自测ETL开发流程图议程ETL开发提交物议程ETL上线包示例模板ETL开发模板统一和规范ETL开发依赖关系配置ETL开发流程图ETL开发准备工作主要任务：–确定开发所需资源是否具备输入：PDM变更完成，提交CASENO实体DDL.DDL完备实施方案，提交CASENO实施方案计划表.doc输出：无ETL开发SDM设计主要任务：–完成SDM设计开发–按照SDM开发规范，确定实体加载策略，变更内容，变更记录，能够真实准确反应模型设计输入：SPDB-EDW-LDM.ER1

2、(模型设计-逻辑模型成果)变更实体表定义语句(模型设计-物理模型成果)实施方案计划表.doc输出：SPDB-DW-ETL-数据映射表(SDM)-主题.xlsETL开发脚本开发主要任务：–初始脚本开发–周期脚本开发–变更历史数据处理脚本开发–变更相关代码表开发输入：SPDB-DW-ETL-数据映射表(SDM)-主题.xlsSPDB-EDW-LDM.ER1实施方案计划表.doc实体DDL.DDL输出：初始/周期/数据处理/代码表脚本/SQLPERL文件ETL开发脚本自测主要任务：–开发人员自测初始脚本–开发人员自测周期脚本–开发人员自测数据处理脚本–开发人员自测代码表脚本–开发人员自测依赖关系脚本

3、输入：初始/周期/数据处理/代码表脚本输出：自测文档.XLS初始/周期/数据处理/代码表脚本LOG日志文件ETL开发依赖关系配置主要任务：–完成SPDB－PDM－依赖关系配置–根据依赖关系配置生成知识库变更SQL–填写主要参考：SPDB-依赖关系填写规范.doc输入：CASENO-依赖关系配置.xls输出：CASENO-依赖关系SQL.PLCASENO-依赖关系SQL.LOGETL开发提交物主要任务：–进行上线资源整合工作输入：初始，周期脚本和数据处理脚本变更视图脚本view_ddl.pl变更代码表脚本code_sql.pl变更初始化脚本init.plSPDB－PDM－依赖关系配置.xls特殊

4、上线步骤说明输出：CASENO上线包CASENO上线包上线步骤CASENO上线包脚本运行LOG日志ETL开发上线包示例主要任务：–主要介绍上线包结构和实施步骤图示如下：实施步骤：上线影响资源备份上线知识库变更操作上线初始化上线变更操作上线临时资源清理操作上线回滚操作ETL开发上线包示例(续)主要任务：–主要介绍上线包文件组成图示如下：ETL开发模板统一和规范主要任务：统一初始和周期开发脚本模板统一数据处理变更脚本模板统一应用开发脚本模板统一SQLPERL文件脚本模板统一上线资源出口统一SDM设计文档模板规范SDM填写规范数据类型转换规范历史数据处理规范脚本测试和自测规范依赖关系配置说明：统一开

5、发设计模板就是为了杜绝因为文件不统一导致的上线错误，各种规范主要为了保证开发质量。谢谢聆听！