一、全量加载

1.打开kettle创建一个转换。并命名为full_load。并添加“执行SQL脚本”,“表输入”和“表输出”控件,建立hop跳连接线。

kettle怎么 连接到es kettle快速连线_database

2.配置“执行SQL脚本”控件

点击新建将数据库连接好,数据库配置完成后点击确认。提前将所要处理的数据存入数据库中,在SQL编辑框中删除full_target种的数据,单击确定完成配置。

kettle怎么 连接到es kettle快速连线_kettle怎么 连接到es_02

kettle怎么 连接到es kettle快速连线_kettle怎么 连接到es_03

 

kettle怎么 连接到es kettle快速连线_数据_04

 

kettle怎么 连接到es kettle快速连线_数据库_05

3 .配置“表输入”控件

双击进入“表输入”配置界面,在SQL编写框中查询表full_source中的数据,代码如下图,点击“预览”查看数据,完成后点击“确认”即可。

kettle怎么 连接到es kettle快速连线_sql_06

kettle怎么 连接到es kettle快速连线_kettle怎么 连接到es_07

4.配置“表输出” 控件

双击进入“表输出”界面,目标表选择full_target,这里的数据库连接直接下拉选择之前连接好的数据库即可,完成点击“确认”。

kettle怎么 连接到es kettle快速连线_sql_08

5.运行该转换。并查看表是否输出正确。

kettle怎么 连接到es kettle快速连线_database_09

kettle怎么 连接到es kettle快速连线_database_10

二、增量加载

1、打开kettle创建转换,命名为incremental_load,并添加“表输入”和“插入/更新”控件,以及hop跳连接线。

kettle怎么 连接到es kettle快速连线_数据_11

2、配置“表输入”控件。

双击进入“表输入”界面,点击“添加”连接数据库,将数据库连接好点击“确定”,数据库配置如下图。然后在SQL语句编写框中添加代码,如下图。点击“浏览”查看数据是否抽取成功。成为你刚刚后点击“确定”。

kettle怎么 连接到es kettle快速连线_kettle怎么 连接到es_12

kettle怎么 连接到es kettle快速连线_数据库_13

 

kettle怎么 连接到es kettle快速连线_sql_14

3、配置“插入/更新”控件。

双击进入界面,数据库连接好(方式同上),目标表点击“浏览”选择incremental_arget。单击“获取字段”按钮,用来指定数据库需要的关键字,这里比较数据表表的字段id与输入流里的字段id是否为一致的条件,更新数据表中的洽谈字段数据,单击“获取和更新字段”用来指定需要的更新字段。

kettle怎么 连接到es kettle快速连线_数据_15

kettle怎么 连接到es kettle快速连线_kettle怎么 连接到es_16

 

4.修改数据字段。

打开SQLyog,找到数据库下的incremental_course,新增一条数据Mary,具体如下表,保存数据。

kettle怎么 连接到es kettle快速连线_kettle怎么 连接到es_17

5.运行该转换。

kettle怎么 连接到es kettle快速连线_kettle怎么 连接到es_18

 6.打开SQLyog查看incremental_target中的数据是否修改成功。

kettle怎么 连接到es kettle快速连线_database_19