etl设计说明书模板

《etl设计说明书模板》由会员上传分享，免费在线阅读，更多相关内容在行业资料-天天文库。

1、WORD格式编辑整理ETL设计说明书Error!Referencesourcenotfound.Author:ZhangJianCustomer:***专业知识分享WORD格式编辑整理目录1.概述52.ETL开发策略73.ETL系统架构设计83.1ETL整体框架83.2ETL系统逻辑架构83.2.1ETL系统的备份和恢复94.ETL应用框架设计104.1ETL应用架构逻辑图104.2ETL模式114.3数据抽取(Extract)和数据变换(Convert)114.3.1数据抽取（Extract）114.3.2数据变换（Convert）114.3.3数据分割（Split）124.

2、4数据转换(Transform)124.4.1字段合并与拆分124.4.2赋缺省值124.4.3数据排序（Sort）124.4.4数据翻译(Lookup)124.4.5数据合并(Merge)134.4.6数据聚合(Aggregate)134.4.7文件比较(FileCompare)134.4.8其他复杂计算134.5数据加载(Load)134.5.1Pre-Load134.5.2Load134.5.3Post-Load144.6ETL进程和进程调度144.7管理功能（ManagementInterface）144.8初始数据、历史数据和日常数据ETL155.开发规范165.1中

3、间文件165.2临时文件165.3BAPI参数文件175.4ETL程序17专业知识分享WORD格式编辑整理5.4.1DataStageProject命名175.4.2DataStage中Job命名175.4.3DataStage中Stage命名185.4.4DataStage中Link命名195.4.5DataStage中Routine命名195.4.6DataStage产生的Abap程序命名195.4.7DataStage中TableDefinition命名205.4.8Storeprocedure程序命名215.5Reject文件215.6系统日志215.7ODBC225.

4、8版本控制225.8.1ABAP程序及BAPI程序225.8.2DataStageJob及Routine225.8.3StoreProcedure程序225.8.4文档225.9ETLJob开发方法规范235.9.1TableDefinition的使用原则235.9.2ExtractJob的开发原则235.9.3CSJob的开发原则245.9.4LoadJob的开发原则245.9.5Gc和GeJob的开发原则255.9.6关于存储过程及BAPI266.系统环境276.1开发、测试和运行环境规划276.2文件目录276.3DataStageManager目录层级规划287.ETL

5、应用设计307.1应用模块架构307.1.1DataStageServer307.1.2DataBaseServer317.2ETLJob设计317.2.1ScheduleJob317.2.2DependenceJob367.2.3MaintanceJob367.2.4GroupJob387.2.5ComponentJob40专业知识分享WORD格式编辑整理7.3ETL环境参数427.3.1JobParams.cfg文件格式427.3.2参数说明427.4公共Routine设计437.4.1TransformRoutine437.4.2Before/AfterSubRoutin

6、e477.5初始ETL程序488.ETL开发流程及管理498.1开发环境准备498.2开发步骤498.2.1日常数据加载：498.2.2初始数据加载：498.2.3历史数据加载：498.3角色及责任509.ETL质量控制及错误处理529.1ETL质量控制主要实现手段529.2拒绝文件及拒绝处理策略529.3已入库源数据发生错误的应对策略52附录I.ETLMapping文件文档模板54附录II.ETLDataFlow文档模板55附录III.ETLJobDependency文档模板56专业知识分享WORD格式编辑整理1.概述ETL系统的核心功能就是按照本设计说明书的架构，将数据由数

7、据源系统加载到数据仓库中。其实现的困难在于ETL系统将面临复杂的源数据环境，包括多种多样的数据源平台、繁多的数据种类、巨大的加载数据量、错综复杂的数据关系和参差不齐的数据质量，这些都使ETL的架构和应用设计面临相当的挑战。通过高效的ETL系统结构、层次化的应用功能划分和标准的程序模板，ETL系统和应用架构设计需要能够达到以下目标：Ø支持在此框架下实现中心数据库所需要的ETL功能；Ø支持在规定的批处理时间窗口（BatchWindow）内能够完成数据加载工作，即需要满足日常数据加载的性能需求；Ø