etl工具篇--datastage

《etl工具篇--datastage》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、ETL工具篇－－DataStage主要内容什么是DataStageDataStage系统架构客户端的4个开发工具几个开发demoContainerJobSequenceJob参数常用组件简介两个目标(1)对DataStage有初步的认识与了解(2)了解源系统的卸数与ODS的加数过程什么是DataStage(1)ETL从数据源抽取数据，并在抽取过程中对源数据进行清洗与　　　　转化，最终加载到目标数据库或数据仓库中去，也就是数据整合的核心内容。(2)DataStage是一款为整个ETL过程提供图形化开发环

2、境的数据集成产品。最初是Ascential的产品，后被IBM收购，称为IBMWebSphereDataStage。(3)当前两个主流ETL工具：IBMDataStageInformaticaPowerCenterDataStage系统架构C/S架构，通过DataStageClient连接到Server上进行开发主要内容什么是DataStageDataStage系统架构客户端的4个开发工具几个开发demoContainerJobSequenceJob参数常用组件简介客户端1--DataStageAdmi

3、nistrator(1)创建项目用DataStage进行ETL的开发之前，需要利用Administrator新建一个项目，然后再在这个项目里面进行ETLJob的开发。(2)连接时间管理(3)许可管理客户端2--DataStageDesignerDataStageDesigner是ETLJob开发的核心环境(1)ETLJob的开发(2)ETLJob的编译(3)ETLJob的执行(1)监测ETLJob的运行状态记录ETLJob运行的详细的日志文件，以及一些统计数据，如ETLJob每秒所处理的数据量(2)设

4、置何时运行ETLJob设置在每天、每周或者每月的某个时间运行ETLJob客户端3--DataStageDirector客户端4--DataStageManager主要用来管理项目资源(1)ETLJob的在不同项目中的导入导出、以及备份(2)用于数据表结构、元数据的管理主要内容什么是DataStageDataStage系统架构客户端的4个开发工具几个开发demoContainerJobSequenceJob参数常用组件简介DEMO1--卸数DEMO2--加数DEMO3--ODS对代码的标准化DEMO4-

5、-各机构数据的加载主要内容什么是DataStageDataStage系统架构客户端的4个开发工具几个开发demoContainerJobSequenceJob参数常用组件简介Container(1)ETLJob往往都很复杂，为了简化开发布局可以将一些业务规则封装到一个容器内，称为ContainerContainer分为：(1)LocalContainer：简化布局、封装业务(2)ShareContainer：可以在多个Job内共用Container(2)C4组件就是一个ShareContainer，它

6、封装了对源数据的抽取与转化这样一个业务功能Container(3)主要内容什么是DataStageDataStage系统架构客户端的4个开发工具几个开发demoContainerJobSequenceJob参数常用组件简介为了对ETLJob进行调度、依赖控制、或者日志、出错处理，JobSequence(序列)采用图形的方式对Jobs进行控制，它同样由Stage与Link组成。JobActivityStage的分类(1)JobActivity：用来指定已经开发定义好的Jobs(2)RoutineActi

7、vity：用来执行Routines代码(3)ExecuteComand：执行Win、DOS、Unix命令(4)NotificationStage：用来邮件发送JobSequence(1)JobSequence(2)主要内容什么是DataStageDataStage系统架构客户端的4个开发工具几个开发demoContainerJobSequenceJob参数常用组件简介Job参数(1)为使得JOB设计更加灵活，保证Jobs可以重复使用，可以在Jobs的设计中插入变量参数。如在根据业务日期选择不同的数据来

8、源。Jobs参数在设计时定义。Jobs参数的引用：“#变量名#"。Jobs运行时，必须先对参数赋值。Job参数(2)--定义与使用主要内容什么是DataStageDataStage系统架构客户端的4个开发工具几个开发demoContainerJobSequenceJob参数常用组件简介常用组件1--数据库接连组件常用组件2--文件组件常用组件3--数据处理组件常用组件4--数据处理组件Transf：功能强大的字段级转换组件Filter：根据过滤条件将数据