一、全量加载
1.打开kettle创建一个转换。并命名为full_load。并添加“执行SQL脚本”,“表输入”和“表输出”控件,建立hop跳连接线。
2.配置“执行SQL脚本”控件
点击新建将数据库连接好,数据库配置完成后点击确认。提前将所要处理的数据存入数据库中,在SQL编辑框中删除full_target种的数据,单击确定完成配置。
3 .配置“表输入”控件
双击进入“表输入”配置界面,在SQL编写框中查询表full_source中的数据,代码如下图,点击“预览”查看数据,完成后点击“确认”即可。
4.配置“表输出” 控件
双击进入“表输出”界面,目标表选择full_target,这里的数据库连接直接下拉选择之前连接好的数据库即可,完成点击“确认”。
5.运行该转换。并查看表是否输出正确。
二、增量加载
1、打开kettle创建转换,命名为incremental_load,并添加“表输入”和“插入/更新”控件,以及hop跳连接线。
2、配置“表输入”控件。
双击进入“表输入”界面,点击“添加”连接数据库,将数据库连接好点击“确定”,数据库配置如下图。然后在SQL语句编写框中添加代码,如下图。点击“浏览”查看数据是否抽取成功。成为你刚刚后点击“确定”。
3、配置“插入/更新”控件。
双击进入界面,数据库连接好(方式同上),目标表点击“浏览”选择incremental_arget。单击“获取字段”按钮,用来指定数据库需要的关键字,这里比较数据表表的字段id与输入流里的字段id是否为一致的条件,更新数据表中的洽谈字段数据,单击“获取和更新字段”用来指定需要的更新字段。
4.修改数据字段。
打开SQLyog,找到数据库下的incremental_course,新增一条数据Mary,具体如下表,保存数据。
5.运行该转换。
6.打开SQLyog查看incremental_target中的数据是否修改成功。