如需转载分享,请标明出处,且不用于盈利为目的,谢谢合作!          

                                                                     Kettle的相关使用

Kettle如今发展到了8.2版本,直接到官网下载,无需安装,kettle运行spoon.bat即可打开;

  1. 在目录pdi-ce-8.2.0.0-342\data-integration\lib下添加数据库jar包。
  2. 运行目录pdi-ce-8.2.0.0-342\data-integration下的spoon.bat

下面来看几个例子,用实战来学习kettle。

业务需求1:将order表中的部分列(字段)下的数据抽取到order_details表中的部分列(字段)中。

ETL模型:

kettle 连接MongoDB分片 kettle连接db2数据库_字段

详细流程制作:

  1. 新建转换
  2. 创建DB连接,选择新建DB连接,如下图,我们输入相应的MySQL配置信息之后点击Test按钮测试是否配置正确
  3. 双击表输入,如下图,选择获取SQL查询语句,选择order表
  4. 双击表输出,如下图所示
  5. 将表输入,字段选择,表输出之间连线,双击字段选择,如下图

业务需求2:将Excel中的数据抽取到platform_settlement_account_bank_running_water表中对应的某些字段下。

ETL模型:

kettle 连接MongoDB分片 kettle连接db2数据库_数据_02

详细流程制作:

        1.Excel中的数据

kettle 连接MongoDB分片 kettle连接db2数据库_字段_03

2.新建转换

3.创建DB连接,选择新建DB连接,如下图,我们输入相应的MySQL配置信息之后点击Test按钮测试是否配置正确

kettle 连接MongoDB分片 kettle连接db2数据库_数据_04

4.双击Excel输入,如下图,红色数字标号操作

kettle 连接MongoDB分片 kettle连接db2数据库_kettle 连接MongoDB分片_05

kettle 连接MongoDB分片 kettle连接db2数据库_数据_06

kettle 连接MongoDB分片 kettle连接db2数据库_kettle 连接MongoDB分片_07

kettle 连接MongoDB分片 kettle连接db2数据库_业务需求_08

5.将Excel输入和表输出之间连线

6.双击表输出,如图所示

kettle 连接MongoDB分片 kettle连接db2数据库_数据_09

kettle 连接MongoDB分片 kettle连接db2数据库_数据_10

业务需求3:创建一个job更新drugs表中的数据。

ETL模型:

kettle 连接MongoDB分片 kettle连接db2数据库_字段_11

kettle 连接MongoDB分片 kettle连接db2数据库_数据_12

详细流程制作:

1.新建转换和一个job作业

2.创建DB连接,选择新建DB连接,如下图,我们输入相应的MySQL配置信息之后点击Test按钮测试是否配置正确

kettle 连接MongoDB分片 kettle连接db2数据库_kettle 连接MongoDB分片_13

3.双击表输入,选择获取SQL查询语句

kettle 连接MongoDB分片 kettle连接db2数据库_字段_14

4.双击插入/更新,如下图 

kettle 连接MongoDB分片 kettle连接db2数据库_kettle 连接MongoDB分片_15

5.双击start

kettle 连接MongoDB分片 kettle连接db2数据库_字段_16

6.双击转换

kettle 连接MongoDB分片 kettle连接db2数据库_字段_17

业务需求4:ž根据客户cust表,帐户account表,交易trade表中的数据,生成对应的数据文件,将数据文件导入到对应trade_all表中。

ETL模型:

kettle 连接MongoDB分片 kettle连接db2数据库_kettle 连接MongoDB分片_18

kettle 连接MongoDB分片 kettle连接db2数据库_字段_19

详细流程制作:

Account表:

kettle 连接MongoDB分片 kettle连接db2数据库_kettle 连接MongoDB分片_20

Cust表:

kettle 连接MongoDB分片 kettle连接db2数据库_kettle_21

Trade表:

kettle 连接MongoDB分片 kettle连接db2数据库_业务需求_22

 

Trade_all表:

kettle 连接MongoDB分片 kettle连接db2数据库_业务需求_23

操作步骤:

在EtltestTrans页面下,点击左侧的【Core Objects】,点击【Input】,选中【表

输入】,拖动到主窗口释放鼠标。

双击【表输入】图标

数据库连接选择刚刚创建好的etltest数据库连接,在主窗口写入对应的查询

语句

Select * from trade ,如下图:

kettle 连接MongoDB分片 kettle连接db2数据库_数据_24

点击确定完成。

点击左侧的【Lookup】,选中【数据库查询】,拖动到主窗口释放鼠标。

按住shift键,用鼠标点中刚才创建的【表输入】,拖动到【数据库查询】上,

则建立了两个环节之间的连接,如图:

kettle 连接MongoDB分片 kettle连接db2数据库_kettle_25

双击【数据库查询】

步骤名称写入account 表查询,数据库连接选择刚刚创建好的etltest 数据库

连接,查询的表写入account,查询所需的关键字中,表字段写入acctno,比较

操作符写入“=”,字段1写入acctno。

在查询表返回的值里面写入custno,确定完成,如下图:

kettle 连接MongoDB分片 kettle连接db2数据库_数据_26

同上,再创建一个数据库查询,命名为cust表查询,查询的表写入cust,查

询所需的关键字写入custno=custno,查询表返回的值写入custname,custid,

custtype,如下图:

kettle 连接MongoDB分片 kettle连接db2数据库_字段_27

点击左侧的【Transform】,选中【过滤记录】,拖动到主窗口释放鼠标。

点击左侧的【Scripting】,选中两个【Modified Java Script Value】,拖动到主窗

口释放鼠标。分别双击打开,重命名为“对公类型修改”和“对私类型修改”。

同时,分别创建【过滤记录】和【对公类型修改】,【对私类型修改】的连接。

双击【规律记录】打开。

第一个<field>里面选择custtype,点击<value>,在Enter value 里面写入1,

确定,如图:

kettle 连接MongoDB分片 kettle连接db2数据库_kettle 连接MongoDB分片_28

在发送true数据给步骤里,选择【对私类型修改】,在发送false数据给步骤

里,选择【对公类型修改】,确定保存,如图:

kettle 连接MongoDB分片 kettle连接db2数据库_kettle 连接MongoDB分片_29

双击【对公类型修改】,在里面写入javascript 脚本语句

var custtype_cn='对公客户交易'

在字段中写入custtype_cn,类型选为string。确定。

同理,在【对私类型修改】中,在里面写入javascript脚本语句

var custtype_cn='对私客户交易'

在字段中写入custtype_cn,类型选为string。确定。

点击左侧的【Transform】,选中两个【增加常量】,拖动到主窗口释放鼠标。

分别双击打开,重命名为“增加对公常量”和“增加对私常量”。

分别建立【对公类型修改】和【对私类型修改】与【增加对公常量】和【增

加对私常量】的连接,如图:

kettle 连接MongoDB分片 kettle连接db2数据库_kettle 连接MongoDB分片_30

双击【增加对公常量】,名称写入value,类型选择string,值写入“这是一

笔对公客户发生的交易”,确定保存。

同理,双击【增加对私常量】,名称写入value,类型选择string,值写入“这

是一笔对私客户发生的交易”,确定保存。

点击左侧的【Output】,选中【文本文件输出】,拖动到主窗口释放鼠标。

建立【增加对公常量】,【增加对私常量】和【文本文件输出】的连接,如图:

kettle 连接MongoDB分片 kettle连接db2数据库_字段_31

双击打开【文本文件输出】,文件名称写入D:\etltest.txt

点击内容标签,根据情况进行修改,例如

点击字段标签

名称依次写入tradeid,acctno,amt,custno,custname,custid,custtype_cn,

value,类型根据各个字段实际类型进行选择

确定保存

点击保存创建好的transformation。

点击运行这个转换。

点击launch,开始运行

当所有状态都变已完成时,则转换完成,如图:

kettle 连接MongoDB分片 kettle连接db2数据库_数据_32