欢迎来到天天文库
浏览记录
ID：8980154
大小：55.50 KB
页数：2页
时间：2018-04-13
《kettle去掉空记录和重复记录》由会员上传分享，免费在线阅读，更多相关内容在应用文档-天天文库。
1、1.新建一个text文件，里面包含空记录和重复记录，如：Web_domainwww.baidu.comwww.baidu.comwww.baidu.comwww.baidu.comwww.yahoo.comwww.xunlei.comwww.xunlei.comwww.letv.comwww.google.com将该文件作为textfileinput输入，对该文件进行相关处理。2.在kettle中建立一个transform，如下：原理：先对输入的数据进行空记录过滤处理，这样就得到了没有空记录的数据，过滤器中配置如
2、下：然后去掉重复记录，但是这一步之前我们需要进行排序操作：最后就是去重复记录操作了：Ok！这就是我做的一个关于去掉空记录和重复记录的transform，希望对你有用。
此文档下载收益归作者所有
