etl利器kettle实战应用解析系列一【kettle使用介绍】

《etl利器kettle实战应用解析系列一【kettle使用介绍】》由会员上传分享，免费在线阅读，更多相关内容在工程资料-天天文库。

1、ETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于企业或行业应用来说，我们经常会遇到各种数据的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少，这里我介绍一个我在工作中使用了3年左右的ETL工具Kettle,木着好东西不独亨的想法，跟大家分亨碰撞交流一下！在使用中我感觉这个工具真的很强大，支持图形化的GUI设计界面，然后可以以工作流的形式流转，在做一些简单或复杂的数据抽取、质量检测、数据清洗、数据转换、数据过滤等方面有着比较稳定的表现，其中

2、最主要的我们通过熟练的应用它，减少了非常多的研发工作量，提高了我们的工作效率，不过对于我这个.net研发者来说唯一的遗憾就是这个工具是Java编写的。1、Kettle概念Kettle是一款国外开源的ETLI具，纯java编写，可以在Window、Linux、Unix±运行，绿色无需安装，数据抽取高效稳定。Kettle中文名称叫水壶，该项目的主程序员MATT希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境

3、来描述你想做什么，而不是你想怎么做。Kettle中冇两种脚本文件，transformation和job,transformation完成针对数据的基础转换，job则完成整个工作流的控制。2、下载和部署Kettle可以在http://kettle.pentaho.org/网站卜•载下载kettle压缩包，因kettle为绿色软件，解压缩到任意本地路径即可3、Kettle环境配置（有Java环境的直接忽略此章节）3、1安装javaJDK1）首先到官网上下载对应JDK包，JDK1.5或以上版木就行；2）安

4、装JDK；3）配置环境变量，附配置方式:安装完成后，还要对它进行相关的配置才可以使用，先来设置一些环境变量，对于Java来说,最需要设置的环境变量是系统路径变量patho(1)要打开环境变量的设置窗口。右击“我的电脑”，在弹出的快捷菜单中选择“属性”选项，进入“系统属性”对话框，如图所示。选择“高级”标签，进入“高级”选项卡，再单击“环境变量”按钮,进入“环境变量”对话框，如图所示：MR

5、itMWSI

6、吕初更I■a厅大改越•图1・S打开坏境变重对话框仪itIMI计th内序便用•以及伽内茅钮0

7、图1・

8、？靛系统厲性汁对话框(2)在"Administrator的用户变量"列表框中，选择变量PATH,待其所在行变高亮后，单击“编辑”按钮，如图所示。(3)在弹出的“编辑系统变量”对话框中，将JDK安装路径下的bin冃录路径设置到Path变量屮，如图所示。图1.9打开P沁变重的编辑窗口图1.10编辑P迪变重Q编辑完后，单击“确定”按钮，进行保存，环境变量Path的设置就正式完成。注意：设置Path变量的路径，必须是JDK安装日录中的binS录，有时候在JDK安装目录的同一层会有JRE的安装目录，因此请谨慎

9、选取相关路径，避免将路径设置成JRE目录下的bin冃录。3、2测试JDK配置是否成功设置好环境变量后，就可以对刚设置好的变量进行测试，并检测Java是否可以运行。（1）单击“开始”按钮，选择“运行”选项，在“运行”对话框中输入cmd命令。（2）之后单击“确定”按钮，打开命令行窗口。（3）在光标处输入：javac命令，按下Enter键执行，即可看到测试结果3、3运行Kettle进入到Kettle目录，如果Kettle部署在windows环境下，双击运行spoon.bat或Kettle.exe文件，出现

10、如下界面:选择一个资檢库©pe门takerIopensourcebusinessintelligence'PentahoDataIntegrationPreviouslyKettle欢迎使用Kettle-这样配置环境这一块基本上就完成了。4、Kettle使用及组件介绍4.1Kettle使用Kettle提供了资源库方式的方式來整合所冇的工作，但是因为资源库移植不方便，所以我们选择没有资源库；1）创建一个新的transformation,点击保存到本地路径,例如保存到D:/etltest下，保存文件名为

11、EtltestTrans,kettle默认transformation文件保存后后缀名为ktr；2）创建一个新的job,点击保存到本地路径，例如保存到D:/etltest下，保存文件名为EtltestJob,kettle默认job文件保存后后缀名为kjb；4.2组件树介绍■I色转换■；：(MyTest-BDB连接0NoahDBINoahdb•Steps(步暴)G插入/更新備库步更新应入过录•QHops()*■数摒库童询-->过滤记录(enabled)A过浦记录-->插