kettle开发使用手册

《kettle开发使用手册》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Kettle开发使用手册Kettle开发使用手册2017年4月1Kettle开发使用手册版本历史说明版本作者日期备注1.0彭伟峰2017.04.112Kettle开发使用手册1.Kettle介绍1.1.什么是KettleKettle是纯Java编写的、免费开源的ETL工具，主要用于抽取(Extraction)、转换(Transformation)、和装载（Loading）数据。Kettle中文名称叫水壶，该项目的主程序员MATT希望把各种数据放到一个壶里，然后以一种指定的格式流出。在这种思想的设计下，Kettle广泛用于不同数据库之间的数据抽取，例

2、如Mysql数据库的数据传到Oracle，Oracle数据库的数据传到Greenplum数据库。1.2.Kettle的安装Kettle工具是不需要安装的，直接网上下载解压就可以运行了。不过它依赖于Java，需要本地有JDK环境，如果是安装4.2或5.4版本，JDK需要1.5以上的版本，推荐1.6或1.7的JDK。运行Kettle直接双击里面的批处理文件spoon.bat就行了，如图1.1所示：图1.13Kettle开发使用手册2.Kettle脚本开发2.1.建立资源库（repository仓库）Repository仓库是用来存储所有kettle文件

3、的文件系统，由于数据交换平台服务器管理kettle文件也是用Repository仓库，因此我们这边本地的kettle开发环境也是要用到该资源库。建立资源库的方式是工具-->资源库-->连接资源库，这时候弹出一个窗口，我们点击右上角的“+”号，跟着点击下面的kettlefilerepository选项，按确定，如图2.1所示：图2.1跟着在右上角选择一个目录，建议在kettle路径下新建repository文件夹，再选择这个文件夹作为根目录，名称和描述可以任意写，如图2.2所示：图2.2建完后会kettle工具会自动连接到repository资源库，

4、每次打开kettle也会弹出一个窗口让你先连接到资源库。在连接到资源库的情况下打开文件就是资源库所在目录了，如图2.3所示。注意你在资源库建的目录结构要跟数据交换平台的目录结构一致，这样写好kettle脚本，保存后放的路径能跟交换平台的目录结构一致了。4Kettle开发使用手册图2.32.2.在目标数据库里新建表在做数据迁移的时候我们需要先在目标数据库建立与源数据库类似的表结构，才能在这两张表之间做数据迁移，以oracle数据库到gp数据库，T_SF_DWJFDJXX_TEST表做数据迁移为例，我们先建类似的表结构，首先先把表结构的代码拷出来：cr

5、eatetableT_SF_DWJFDJXX_TEST(NSRNBMNUMBER(10)notnull,DWSBHVARCHAR2(18)notnull,JFDWNBMNUMBER(10)notnull,HYFL_DMCHAR(1)notnull,JFDWLX_DMCHAR(3)notnull,SBJC_DMCHAR(2)notnull,SBGLJG_DMVARCHAR2(11)notnull,SWGLJG_DMVARCHAR2(11)notnull,SBDJ_ZTCHAR(2)notnull,DJSLRY_DMVARCHAR2(11),DJSL_

6、RQDATE,LRRY_DMVARCHAR2(11),XGRY_DMVARCHAR2(11),DJ_RQDATE,DJJG_DMVARCHAR2(11),LR_SJTIMESTAMP(6),XG_SJTIMESTAMP(6),ZDFY_BJCHAR(1),XMMCVARCHAR2(100),KNQYBZ_DMCHAR(1),ZDYCKJN_BJCHAR(1),SJJHPT_SJTIMESTAMP(6),SJJHPT_DZNUMBER(14));5Kettle开发使用手册跟着在这个表结构的基础上，在目标数据库创建新表。需要注意的是，gp数据库的数据类

7、型有些跟oracle的一样，有些不同。相同的就不用改了，不同的就改下。以上面的数据类型为例，相同的有char、date、timestamp，不同的是varchar2和number，因此，varchar2(n)要改成varchar(n)，number(n)要改成integer（注意不带数字长度n）。建完之后，我们就可以在这不同数据库的两张表之间进行数据迁移或数据定时传输。2.3.源数据库和目标数据库的jndi设置Jndi是kettle连接数据库的配置文件，相当于oracle的tns。Jndi设置的目录是在kettle目录下的simple-jndi文件

8、夹里，打开后编辑jdbc.properties来设置jndi，下面附上公司揭阳涉税项目oracle到gp数据库的jndi设