etl利器kettle实战应用解析系列二【应用场景和实战demo】

《etl利器kettle实战应用解析系列二【应用场景和实战demo】》由会员上传分享，免费在线阅读，更多相关内容在学术论文-天天文库。

1、1、应用场景这里简单概括一下几种具体的应用场景，按M络环境划分主要包括：•表视图模式：这种情况我们经常遇到，就是在同一网络环境下，我们对各种数据源的表数据进行抽取、过滤、消洗等，例如历史数据同步、异构系统数据交互、数据对称发布或备份等都归属于这个模式；传统的实现方式一般都要进行研发（一小部分例如两个相同表结构的表之间的数据同步，如果sqlserver数据库讨以通过发布/订阅实现），涉及到一些复杂的一些业务逻辑如果我们研发出來还容易出各种bug:•前H机模式：这是一种典型的数据交换应用场景，数据交换的双方A和B网络不通，但是A和B都可以和前

2、置机C连接，一般的情况是双方约定好前置机的数据结构，这个结构跟A和B的数据结构基木上是不一致的，这样我们就耑要把应用上的数据按照数据标准推送到前置机上，这个研发工作量还是比较大的；•文件模式：数据交互的双方A和B是完全的物理隔离，这样就只能通过以文件的方式来进行数据交互了，例如XML格式，在应用A中我们开发一个接口用來牛成标准格式的XML，然后用优盘或者别的介质在某一时间把XML数据拷贝之后，然后接入到应用B上，应用B上在按照标准接U解析相应的文件把数据接收过来；综上3种模式如果我们都用传统的模式无疑工作量是巨大的，那么怎么做才能更高效更

3、节将时间又不容易出错呢？答案是我们可以用一下Kettle-_-!2、DEMO实战2、1实例1:数据库TestA中的UserA表到数据库TestB的UserB表1）为方便演示，我这边把Sql脚本贴出来，大家直接复制在sqlserver屮运行即可，sql脚本如下：简单表之间交换2）Kettle实现方式功能简述：数据库TestA屮的UserA表到数据库TestB的UserB表；实现流程：建立一个转换和一个作业Job；A:建立一个转换：打开Kettle.exe,选择没有资源库，进入主界面，新建一个转换，转换的后缀名为ktr，转换逮立的步骤如下：步

4、骤1:创建DB连接，选择新建DB连接，如下图，我们输入相应的Sqlserver配賈信息之后点击Test按钮测试是否配賈止确！1、应用场景这里简单概括一下几种具体的应用场景，按M络环境划分主要包括：•表视图模式：这种情况我们经常遇到，就是在同一网络环境下，我们对各种数据源的表数据进行抽取、过滤、消洗等，例如历史数据同步、异构系统数据交互、数据对称发布或备份等都归属于这个模式；传统的实现方式一般都要进行研发（一小部分例如两个相同表结构的表之间的数据同步，如果sqlserver数据库讨以通过发布/订阅实现），涉及到一些复杂的一些业务逻辑如果我们

5、研发出來还容易出各种bug:•前H机模式：这是一种典型的数据交换应用场景，数据交换的双方A和B网络不通，但是A和B都可以和前置机C连接，一般的情况是双方约定好前置机的数据结构，这个结构跟A和B的数据结构基木上是不一致的，这样我们就耑要把应用上的数据按照数据标准推送到前置机上，这个研发工作量还是比较大的；•文件模式：数据交互的双方A和B是完全的物理隔离，这样就只能通过以文件的方式来进行数据交互了，例如XML格式，在应用A中我们开发一个接口用來牛成标准格式的XML，然后用优盘或者别的介质在某一时间把XML数据拷贝之后，然后接入到应用B上，应用

6、B上在按照标准接U解析相应的文件把数据接收过来；综上3种模式如果我们都用传统的模式无疑工作量是巨大的，那么怎么做才能更高效更节将时间又不容易出错呢？答案是我们可以用一下Kettle-_-!2、DEMO实战2、1实例1:数据库TestA中的UserA表到数据库TestB的UserB表1）为方便演示，我这边把Sql脚本贴出来，大家直接复制在sqlserver屮运行即可，sql脚本如下：简单表之间交换2）Kettle实现方式功能简述：数据库TestA屮的UserA表到数据库TestB的UserB表；实现流程：建立一个转换和一个作业Job；A:建

7、立一个转换：打开Kettle.exe,选择没有资源库，进入主界面，新建一个转换，转换的后缀名为ktr，转换逮立的步骤如下：步骤1:创建DB连接，选择新建DB连接，如下图，我们输入相应的Sqlserver配賈信息之后点击Test按钮测试是否配賈止确！TestAConnectionType:HostName:localhostIMSSQLServerMaxDB(SAPDB)MonetDBMySQLNeoviewNetezzaOracleOracleRDBPaloMOLAPServerPostgreSQLRemedyActionRequestS

8、ystemSAPR/3SystemSQLite▼KingbaseESMSAccessDatabaseName:TestAInstanceName:PortNumber:UserName:Pas