一、 输入组件

1.1表输入

从指定的数据库中,通过sql语句来查询数据加载到内存。

允许简易转换:勾选后可以避免不必要的字段的数据类型转换,从而提高性能。

替换sql语句里的变量:勾选后可以通过${queryDate}来使用queryDate变量。

从步骤中插入数据:以上次的步骤中的数据作为数据的参数,使用?来获取上步骤的数据,查询多个列就多个?接受。

从步骤中插入数据的例子:

csv文件里面有一些id,我们需要读取这个id的值,然后去数据库里面找对应id的数据

我们从csv中读取数据,所以需要csv文件输入组件,并且需要从数据库中回去数据,所以需要表输入组件,最终会形成下面的转换图:

kettle表输出获取javascrip kettle表输入表输出_shell

其中csv读取到的id内容是:

kettle表输出获取javascrip kettle表输入表输出_数据库_02

表输入的配置是:

kettle表输出获取javascrip kettle表输入表输出_shell_03

最终表输入的输出是:

kettle表输出获取javascrip kettle表输入表输出_数据_04

1.2一个组件有多个数据通道

一个组件往多个通道发送时:可以选择分发或者是复制。

kettle表输出获取javascrip kettle表输入表输出_数据库_05

分发的意思是分流,就是把输出分为多分发送到不同的目的地

复制的意思是每个目的地接收到的数据是一样的

这里举一个复制的例子,读取数据库中的数据复制多分到excel输出、json输出、表输出

表输出需要注意字段的映射关系:

kettle表输出获取javascrip kettle表输入表输出_shell_06

这是转换图:

kettle表输出获取javascrip kettle表输入表输出_数据库_07

 二、执行sql的组件

执行脚本是很常用的一个组件,主要用于将上一步骤的结果作为参数来执行sql语句。

执行每一行:是否要对偶上个步骤的N行的结果一行一行的执行此脚本。

execute as a statment:当做一条完整的语句执行

变量替换:选中后,就可以${date}方式使用变量

quote string:选中后会识别?来表示上步骤传来的数据。

测试程序:

我们读取csv文件,并把csv文件中的数据插入到mysql的表中

kettle表输出获取javascrip kettle表输入表输出_数据_08

其中执行sql脚本的配置是:

kettle表输出获取javascrip kettle表输入表输出_字段_09

三、公式

在原来字段的基础上,使用新的自定义公式产生新的字段。变量用{}括起来。

例子:

我们读取csv文件,将name字段变为大写

kettle表输出获取javascrip kettle表输入表输出_java_10

最终的公式的输出是:

kettle表输出获取javascrip kettle表输入表输出_字段_11

四、记录集连接

根据两个输入的连接字段选择连接方式,注意一个问题:关联的数据源要事先排好序。

五、字段选择工具

在关联之后去掉一些不需要的字段,或者修改字段的控制

字段选择的转换图:

kettle表输出获取javascrip kettle表输入表输出_java_12

csv文件里面包括两列的数据,id和name,现在我们把id字段名改为了new_id,并且将name字段删除

字段选择后的结果:

kettle表输出获取javascrip kettle表输入表输出_数据_13

六、合并记录

将跨数据源的数据合并在一起的操作,相当于在同一数据库中的union操作。

kettle表输出获取javascrip kettle表输入表输出_数据库_14

kettle表输出获取javascrip kettle表输入表输出_java_15

 union有数据的相对比较的功能

匹配关键字:是两个数据源数据对比的依据

标志字段是要显示的两个数据源的对比结果:

new:原来数据源没有关键字匹配的值,新数据源有关键字匹配的值。

delete:原来数据源有关键字匹配的值,新数据源没有关键字匹配的值。

changed:原来数据源和新数据源有关键字匹配的值,但是其他项修改了。

identical:两条数据是一致的。