bi实施工具-03实施方案库-etl设计规范_v10

《bi实施工具-03实施方案库-etl设计规范_v10》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、密级：内部资料ETL设计规范V1.0文档编号：项目名称：编写：章卓異编写日期：用友软件股份有限公司XXX项目组修订状况早"P编号章节名称修订内容简述修订日期修订前版本号修订人目录目录i第1章引言11.1.编写目的11.1.1.作用11.1.2.预期读者11.2.编写背景1系统名称及版本号1任务提出者1任务承接者及实施者1使用者11.3.参考资料1第2章系统概述22.1.数据流程描述22.2.控制流程概要2第3章ETL控制流程功能概述33.1.设定时间窗口332启动服务33.3.LI终状态确认33.4.

2、H常处理服务33.5.异常处理服务33.6.ETL调度33.7.Agent代理33.8.监控LI志4第4章ETL数据流程功能概述44.1.数据平移44.2.增量处理44.3.数据清洗444数据整合44.5.代码转换446数据校验4数据仓库（DW）装载4数据集市（DM）装载5维模型数据更新5结束处理5第5章逻辑部署及技术实现5笫6章ETL运维流程5第7章参数配置及日志信息说明57.1.系统控制参数表57.1.系统H志参数表57.2.调度处理日志表57.3.源系统日终状态参数表57.4.DI控制参数配置表

3、说明67.5.错误口志表6第偉引言1・1・编写目的【简耍描述本设计文档H的】1.1.1.作用【描述本文档针对■项目组成员的指导作用］1.1.2.预期读者【描述本文档血对的读者】1.2.编写背景121•系统名称及版本号系统名称：版本号：任务提出者【描述该项目的提出人，一-般指客户】1.23.任务承接者及实施者【明确描述项目的承接人及具体实施者】124•使用者【在文档使用范围内的相关人员】1.3.参考资料【列举本文档编写时的参考文档资料】第2章系统概述2.1.数据流程描述【对ETL的数据流按步骤进行简单描

4、述，最好画出数据流图】2.2.控制流程概要【描述ETL总体控制的功能及关键点，最好冇ETL总控结构图】【主要描述ETL控制的各个任务模块的口常调度处理流程、异常的处理流程、需要人工T•预的流程、特殊的处理流程等】第3章ETL控制流程功能概述【描述】3.1.设定时间窗口【此处用来描述数据迁移时间范围1【对生产系统数据源的平移，考虑到对业务系统的影响，一般是有一定时间限制的。只冇在系统管理员设定的时间范围Z内才能进行该功能。当然这个功能不是一定必须冇的，需按源系统状况来判定是否必须】3.2.启动服务【描述

5、ETL服务启动功能：描述启动服务的内容、服务启动方式、启动顺序】【一般的ETL服务包括U常处理和异常处理两个服务功能模块】【服务启动方式：B动（触发启动、定时启动等）、手动、各启动方式ZI'可的优先级】3.3.日终状态确认【描述对各个源系统日终状态确认的功能：确认方式、确认方法】【一•般情况下，仝产系统有若T个数据来源，对于每个数据源的数据处理，只有在该数据系统当天业务完毕Z后才能进行。当然如果需耍实时的数据，则不需要确认日终状态。但一般不建议对业务系统进行实时抽取，除非冇特殊的业务需求。13.4.日

6、常处理服务【描述ETLU常处理服务模块：功能、流程、逻辑流程图等】3.5.异常处理服务【描述ETLS常处理服务模块：功能、流程、逻辑流程图等】3.6.ETL调度【描述ETL调度模块：功能描述、调度逻辑图】3.7.Agent代理【描述ETL任务调度Agent代理】【一般在数据量较大ETL过程中，会使用并行数据处理，此时就需要应用代理进行并行数据任务调度】3.8.监控日志【描述ETL监控日志的采集、查询方法、日志内容说明等】第4章ETL数据流程功能概述4.1.数据平移【数据平移过程描述：数据平移方法、数据

7、平移规则】4.2.增量处理【描述数据增最处理的过程】4.3.数据清洗【描述数据清洗功能：数据清洗规则、数据清洗过程等】4.4.数据整合【描述数据整合过程，由于有吋数据转换的过程比较复杂和繁多，不必写出字段级的转换过程（一般字段级转换过程在数据映射文件中进行描述），只需描述表级整合过程即口J。】3.5.代码转换【描述代码转换的规则、转换方法】【进行代码转换的冃的是为了整合源系统中不规则、重复的代码，提供给数据仓库使用者统一的标准代码。】3.6.数据校验【描述数据校验的作用、数据校验的方法、校验结果FI志

8、信息等】【数据校验在ETL中是很重要的一步，川來保证进入数据仓库数据的正确性。校验的方式-•般可通过技术和业务逻辑进行校验。技术校验一般验证数据的准确性、数据类型的正确性、数值范围的正确性等。业务逻辑校验，一般根据数据的业务逻辑关系进行验证。】3.7.数据仓库（DW）装载【描述处理好的数据装载到数据仓库的功能】3.&数据集市（DM）装载【描述数据山数据仓库装载到数据集市的过程】4.9.维模型数据更新【描述更新维模型数据功能】【维模型是指完全按照维度■事实