Kettle培训手册

《Kettle培训手册》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、Kettle培训手册Etl介绍ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于金融IT来说，经常会遇到大数据量的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高效稳定。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。kettle部署运行将kettle2.5.1文件夹拷贝到本地

2、路径，例如D盘根目录。双击运行kettle文件夹下的spoon.bat文件，出现kettle欢迎界面：稍等几秒选择没有资源库，打开kettle主界面创建transformation，job点击页面左上角的创建一个新的transformation，点击保存到本地路径，例如保存到D:/etltest下，保存文件名为EtltestTrans，kettle默认transformation文件保存后后缀名为ktr点击页面左上角的创建一个新的job，点击保存到本地路径，例如保存到D:/etltest下，保存文件名为Etltest

3、Job，kettle默认job文件保存后后缀名为kjb创建数据库连接在transformation页面下，点击左边的【MainTree】，双击【DB连接】，进行数据库连接配置。Connectionname自命名连接名称Connectiontype选择需要连接的数据库Methodofaccess选择连接类型Serverhostname写入数据库服务器的ip地址Databasename写入数据库名Portnumber写入端口号Username写入用户名Password写入密码例如如下配置：点击【test】，如果出现如下提

4、示则说明配置成功点击关闭，再点击确定保存数据库连接。一个简单的ktr例子目标：从交易表（trade），帐户表（account），客户表（cust）抽数交易相关的所有信息，并判断对公对私分别进行处理，输出到文本文件中。操作步骤：在EtltestTrans页面下，点击左侧的【CoreObjects】，点击【Input】，选中【表输入】，拖动到主窗口释放鼠标。双击【表输入】图标数据库连接选择刚刚创建好的etltest数据库连接，在主窗口写入对应的查询语句Select*fromtrade点击确定完成。点击左侧的【Lookup

5、】，选中【数据库查询】，拖动到主窗口释放鼠标。按住shift键，用鼠标点中刚才创建的【表输入】，拖动到【数据库查询】上，则建立了两个环节之间的连接。双击【数据库查询】图标步骤名称写入account表查询，数据库连接选择刚刚创建好的etltest数据库连接，查询的表写入account，查询所需的关键字中，表字段写入acctno，比较操作符写入“=”，字段1写入acctno。在查询表返回的值里面写入custno，确定完成。同上，再创建一个数据库查询，命名为cust表查询，查询的表写入cust，查询所需的关键字写入cust

6、no=custno，查询表返回的值写入custname，custid，custtype点击左侧的【Transform】，选中【过滤记录】，拖动到主窗口释放鼠标。点击左侧的【Scripting】，选中两个【ModifiedJavaScriptValue】，拖动到主窗口释放鼠标。分别双击打开，重命名为“对公类型修改”和“对私类型修改”。同时，分别创建【过滤记录】和【对公类型修改】，【对私类型修改】的连接。双击【规律记录】打开。第一个里面选择custtype，点击，在Entervalue里面写入

7、1，确定在发送true数据给步骤里，选择【对私类型修改】，在发送false数据给步骤里，选择【对公类型修改】，确定保存。双击【对公类型修改】，在里面写入javascript脚本语句varcusttype_cn='对公客户交易'在字段中写入custtype_cn，类型选为string。确定。同理，在【对私类型修改】中，在里面写入javascript脚本语句varcusttype_cn='对私客户交易'在字段中写入custtype_cn，类型选为string。确定。点击左侧的【Transform】，选中两个【增加常量】，

8、拖动到主窗口释放鼠标。分别双击打开，重命名为“增加对公常量”和“增加对私常量”。分别建立【对公类型修改】和【对私类型修改】与【增加对公常量】和【增加对私常量】的连接双击【增加对公常量】，名称写入value，类型选择string，值写入“这是一笔对公客户发生的交易”，确定保存。同理，双击【增加对私常量】，名称写入value，类型选择string，