《kettle使用培训》ppt课件

《《kettle使用培训》ppt课件》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、Kettle使用培训文档shenxianglKettle使用-ETL&KettleETL（Extract-Transform-Load的缩写，即数据抽取、转换、装载的过程），对于金融IT来说，经常会遇到大数据量的处理，转换，迁移，所以了解并掌握一种etl工具的使用，必不可少。Kettle是一款国外开源的etl工具，纯java编写，绿色无需安装，数据抽取高效稳定。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制。Kettle使用-下载&部署Kettle可以在http:

2、//kettle.pentaho.org/网站下载下载kettle压缩包，因kettle为绿色软件，解压缩到任意本地路径即可Kettle使用-运行进入到Kettle目录，如果Kettle部署在windows环境下，双击运行spoon.bat文件，出现如下界面Kettle使用-运行Kettle提供了资源库方式的方式来整合所有的工作，但是因为资源库移植不方便，所以选择没有资源库Kettle使用-ktr&kjb点击页面左上角的创建一个新的transformation，点击保存到本地路径，例如保存到D:/etltest下，保存文件名为EtltestTrans，kettle

3、默认transformation文件保存后后缀名为ktr点击页面左上角的创建一个新的job，点击保存到本地路径，例如保存到D:/etltest下，保存文件名为EtltestJob，kettle默认job文件保存后后缀名为kjbKettle使用-transformation菜单介绍MainTree菜单列出的是一个transformation中基本的属性，可以通过各个节点来查看。DB连接：显示当前transformation中的数据库连接，每一个transformation的数据库连接都需要单独配置。Steps：一个transformation中应用到的环节列表Hop

4、s：一个transformation中应用到的节点连接列表Kettle使用-transformation菜单介绍CoreObjects菜单列出的是transformation中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加。Input：输入环节Output：输出环节Lookup：查询环节Transform：转化环节Joins：连接环节Scripting：脚本环节Kettle使用-Transformation每一个环节可以通过鼠标拖动来将环节添加到主窗口中。并可通过shift+鼠标拖动，实现环节之间的连接。Kettle使用-Transformation常用

5、环节介绍类别环节名称功能说明Input文本文件输入从本地文本文件输入数据表输入从数据库表中输入数据获取系统信息读取系统信息输入数据Output文本文件输出将处理结果输出到文本文件表输出将处理结果输出到数据库表插入/更新根据处理结果对数据库表机型插入更新，如果数据库中不存在相关记录则插入，否则为更新。会根据查询条件中字段进行判断更新根据处理结果对数据库进行更新，若需要更新的数据在数据库表中无记录，则会报错停止删除根据处理结果对数据库记录进行删除，若需要删除的数据在数据库表中无记录，则会报错停止Lookup数据库查询根据设定的查询条件，对目标表进行查询，返回需要的结果

6、字段流查询将目标表读取到内存，通过查询条件对内存中数据集进行查询调用DB存储过程调用数据库存储过程Transform字段选择选择需要的字段，过滤掉不要的字段，也可做数据库字段对应过滤记录根据条件对记录进行分类排序记录将数据根据某以条件，进行排序空操作无操作增加常量增加需要的常量字段ScriptingModifiedJavaScriptValue扩展功能，编写JavaScript脚本，对数据进行相应处理Mapping映射（子转换）数据映射JobSatVariables设置环境变量GetVariables获取环境变量Kettle使用-Job菜单介绍MainTree菜单

7、列出的是一个Job中基本的属性，可以通过各个节点来查看。DB连接：显示当前Job中的数据库连接，每一个Job的数据库连接都需要单独配置。Jobentries：一个Job中引用的环节列表Kettle使用-Job菜单介绍Jobentries菜单列出的是Job中可以调用的环节列表，可以通过鼠标拖动的方式对环节进行添加。每一个环节可以通过鼠标拖动来将环节添加到主窗口中。并可通过shift+鼠标拖动，实现环节之间的连接。Kettle使用-Job常用环节介绍类别环节名称功能说明JobentriesSTART开始DUMMY结束Transformation引用Transforma

8、tion流