KETTLE详细设计

《KETTLE详细设计》由会员上传分享，免费在线阅读，更多相关内容在教育资源-天天文库。

1、KETTLE详细设计说明书V0.1变更记录版本文件内容描述日期编写审核批准V0.1创建2014-7-3王小龙1Kettle界面介绍双击Kettle.exe或者Spoon.bat打开Kettle图形界面化如下：(图1.1)Kettle中有两类设计分别是：Transformation（转换）与Job（作业），Transformation完成针对数据的基础转换，Job则完成整个工作流的控制。Kettle常用三大家族：Spoon、Pan、Kitchen。Spoon:通过图形界面方式设计、运行、调试Job与Transformation。Pan:通过脚本命令方式

2、来运行Transformation。Kitchen:通过脚本命令方式来运行Job，一般就是通过调用Kitchen脚本来完成定时任务。说明：当打开Kettle时显示的是Kettle的相关版本信息与GNU相关协议说明。(图1.2)说明：打开Kettle时弹出的窗口提示以资源库方式登录相关信息，关于乌江水电项目工程存储方式是以XML文件方式来进行存储，所以我就直接点击“没有资源库”。图(1.3)说明：进入Kettle设计界面。提示关于Spoon相关信息，这里直接点击“关闭”按钮。(图1.4)说明：图片中所使用到的字母位置标识说明。(A)：Kettle所使用

3、到的菜单栏。(B)：在使用Kettle时所涉及使用到的对象。(C)：Kettle中所有的组件。(D)：根据选择(B)或者(C)显示相应的结果。(E)：Kettle设计界面。(图1.5)说明：文件：是对Kettle所生成的Job与Trans进行相关的操作，如：新建、打开、保存、导入、导出等相关操作。(图1.6)说明：编辑：是对Kettle当前打开的Job与Trans进行相关的操作，如：复制、撤销、环境变量显示、资源库查看、图形界面自定义调整(颜色、字体、样式)等相关操作。(图1.7)说明：视图：是对Kettle当前打开的Job与Trans进行放大、缩小

4、相关操作。(图1.8)说明：资源库：是对Kettle中所使用到的资源库进行操作，如：资源库连接、断开、当前用户编辑等操作。(图1.9)说明：转换：是对Kettle当前所打开的Trans进行相关测试功能。(图1.10)说明：作业：是对Kettle当前所打开的Job进行操作，如：运行、复制、参数设置等相关操作。(图1.11)说明：向导：是对Kettle当前所打开的Job或者Trans对其进行一步一步的指导性操作。(图1.12)说明：帮助：查看当前Kettle版本相关信息。2Kettle数据源连接配置Kettle中对于数据源有作用域的定义，也就是说有全局数

5、据源与局部数据源两种。       首先打开KettleUI界面，使用快键方式(Ctrl+N)创建一个转换，新建数据源如下图：(图2.0)通过点击“新建”，则出现(图2.1)(图2.1)说明：通过(图2.1)我们可以看到创建数据源时需要配置相应的参数：ConnectionName(必填)：配置数据源使用名称，如：wjsd_srcHostName(必填)：数据库主机IP地址，如：192.168.1.254DatabaseName(必填)：数据库实例名称，如：WJSDTablespaceforData(可选)：数据表空间名称Tablespaceforin

6、dices(可选)：数据索引名称PortNumber(必填)：端口号UserName(必填)：用户名Password(必填)：密码Access：选择数据库连接方式，ODBC方式则需要配置系统ODBC，JNDI则使用配置jdbc.properties文件，默认为Native(JDBC)连接方式，。注：在Kettle中如果在填写框末尾出现$符号标识说明此处可以使用变量参数来定义。填写好数据库连接信息后，点击“Test”按钮，出现效果如(图2.2)(图2.2)说明：配置成功数据源后默认情况下数据源作用域为局部数据源，如果需要把数据源修改成为全局数据源，则选

7、择数据源wjsd_src右击Share保存即可。3Kettle全量抽取对于纬表、字典表或者是没有时间戳的表，一般我们都采用全量抽取的方式将业务系统库中的数据抽取到数据仓库中。乌江水电项目需要用到全量抽取的源表有：CIM.MeasurementCIM.Measurement_TypeCIM.d_ReservoirCIM.Center_Sys_CodeCIM.CURVE_SCHED_DATACIM.d_dateCIM.CURVE_SCHEDULECIM.WJ_CURVE_TYPECIM.power_System_resourcePSR_TYPE下面以CI

8、M下面的d_Reservoir为例详细描述Kettle全量抽取的过程1、 创建转换(Ctrl+N)，转换名称