欢迎来到天天文库
浏览记录
ID:37709352
大小:24.38 KB
页数:12页
时间:2019-05-29
《datastage常用组件使用方法:》由会员上传分享,免费在线阅读,更多相关内容在教育资源-天天文库。
1、常用组件使用方法:1.Sequentialfile功能特点:适用于一般顺序文件(定长或不定长),可识别文本文件或IBM大机ebcdic文件。 使用要点: 按照命名规范命名 点住文件,双击鼠标,在general说明此文件内容,格式,存储目录等。2.Annotation功能特点:一般用于注释,可利用其背景颜色在job中分颜色区别不同功能块3.ChangeCaptureStage功能特点:ChangeCaptureStage有两个输入,分别标记为beforelink及afterlink。输出的数据表示beforelink和afterlink的区别,我们称作chan
2、geset。ChangeCaptureStage可以和ChangeApplyStage配合使用来计算afterset。使用要点: key及value的说明:key值是比较的关键值,value是当key值相同是作进一步比较用的。 changemode选项说明: Allkeys,ExplicitValues需要指定value,其余字段为keyExplicitKeys&Valueskey及value都需要指定 ExplicitKeys,AllValues需要指定key,其余的字段为value输出策略说明:DropOutputForCopyFalse:保留befo
3、re及aftelink中key值相同的行 True:删除before及aftelink中key值相同的行 DropOutputForDeleteFalse:保留beforelink中有但是afterlink中没有的key值所在的行 True:删除beforelink中有但是aftelink中没有的key值所在的行 DropOutputForEditFalse:保留key值相同,value不同的行 True:删除key值相同,value不同的行 DropOutputForInsertFalse:保留beforelink中没有但aftelink中有的key
4、值所在的行 True:删除beforelink中没有但aftelink中有的key值所在的行 4.CopyStage功能说明:CopyStage可以有一个输入,多个输出。他可以在输出时改变字段的顺序,但是不能改变字段类型。注意:当只有一个输入及一个输出时最好将Force设置为True,这样可以在Designer里看到运行结束,否则将无法标识运行结束,但不会影响运行结果数据。5.FilterStage功能说明:FilterStage只有一个输入,可以有多个输出。根据不同的筛选条件,可以将数据输出到不同的outputlink。6.FunnelStage功能说明:将
5、多个字段相同的数据文件合并为一个单独的文件输出合并策略说明:ContinuousFunnel:从每一个inputlink中循环取一条记录SortFunnel:按照Key值排序合并输出 Sequence:先输出第一个inputlink的数据,输出完毕后再输出第二个inputlink的数据,依此类推,直到结束。(此时可以通过调整linkOrdering调整输出顺序)7.TansformerStage功能说明: 一个功能极为强大的Stage。有一个inputlink,多个outputlink,可以将字段进行转换,也可以通过条件来指定数据输出到那个output
6、link。在开发过程中可以使用拖拽。Constraint及Derivation的区别Constraint通过限定条件使符合条件的数据输出到这个outputlink。 Derivation通过定义表达式来转换字段值。在Constraint及Derivation中可以使用Jobparameters及StageVariables。 注意: TransformerStage功能强大,但在运行过程中是以牺牲速度为代价的。在只有简单的变换,拷贝等操作时,最好用ModifyStage,CopyStage,FilterStage等来替换TransformerStage。
7、8.SortStage功能说明: 只能有一个输入及一个输出,按照指定的Key值进行排列。可以选择升序还是降序,是否去除重复的数据等等。Option具体说明: AllowDuplicates:是否去除重复数据。为False时,只选取一条数据,当StableSort为True时,选取第一条数据。当SortUnility为UNIX时此选项无效。 SortUtility:选择排序时执行应用程序,可以选择DataStage内建的命令或者Unix的Sort命令。 OutputStatistics:是否输出排序统计信息到job日志。StableSort:是否对数据进行二
8、次整理。
此文档下载收益归作者所有