目录

介绍

Job Item(作业项)

Job Hop(作业跳)

参数

参数实操


介绍

大多数ETL项目都需要完成各种各样的操作,例如何传送文件 验证数据库表是否存在,等等,而这些操作都是按照一定顺序完成,Kettle中的作业可以串行执行转换来处理这些操作。

 

Job Item(作业项)

作业项是作业的基本构成部分。如同转换的组件,作业项也可以用图标的方式展示。

kettle java中传递数据库变量 kettle传参数_etl

 

Job Hop(作业跳)

Job Hop是作业项之间的连接线,定义了作业的执行路径,作业里每个作业项的不同运行结果决定了作业的不同执行 路径。以下为 Job Hop的几种执行方式:

 

无条件执行

不论上一个作业项执行成功还是失败,下一个作业项都会执行 蓝色的连接线,上面有一个锁的图标

 

当运行结果为真时执行

当上一个作业项的执行结果为真时,执行下一个作业项 通常在需要无错误执行的情况下使用 绿色的连接线,上面有一个对钩号的图标。

 

当运行结果为假时执行

当上一个作业项的执行结果为假或者没有成功执行时,执行下一个作业项 红色的连接线,上面有一个红色的停止图标

 

参数

参数的使用

对于ETL参数传递是一个很重要的环节,因为参数的传递会涉及到业务数据是如何抽取

 

表输入参数传递 - 转换命名参数

1.转换命名参数就是在转换内部定义的变量,作用范围是在转换内部

2.在转换的空白处双击左键,在转换属性中能看到

3.可以在表输入 SQL语句中使用 ${变量名} 或者 %%变量名%% 直接引用

kettle java中传递数据库变量 kettle传参数_作业_02

 

 

 

  • 实操

需求:

从Excel读取数据,保存到另一个Excel再从文本文件中读取数据,保存到Excel启动作业执行

执行错误,显示执行错误消息框

执行成功,显示执行成功消息框

 

在Kettle创建两个转换

Excel - Excel

kettle java中传递数据库变量 kettle传参数_大数据_03

文本文件输入 - Excel

kettle java中传递数据库变量 kettle传参数_kettle java中传递数据库变量_04

 

在Kettle创建一个作业

两个转换对应之前两个创建的转换,如果转换成功显示成功消息框,失败显示失败消息框,各个组件可以设置不同的参数

kettle java中传递数据库变量 kettle传参数_etl_05

 

点击三角形箭头执行

 

参数实操

拖入一个表输入组件、一个空操作组件,并连接各个组件

kettle java中传递数据库变量 kettle传参数_作业_06

配置表输入组件

kettle java中传递数据库变量 kettle传参数_大数据_07

 

kettle java中传递数据库变量 kettle传参数_大数据_08

 

 

双击左键配置参数属性

kettle java中传递数据库变量 kettle传参数_作业_09

 

点击三角形箭头执