一、说明

        1、数据库,MySQL

        2、根据ID备份增量数据

        3、主键为bigint,且自增

        4、增量策略,根据ID判断增量

        5、使用工具kettle9

        6、本文重点,介绍查询maxId作为变量用于增量查询

二、处理

1、新增kettle项目

2、组件结构

1)结构

表输入 -> 表输入 -> 表输出

说明: 第一个表输入,用于查询本地数据库表记录的maxId

说明: 第二个表输入,用于查询远程数据库记录大于等于maxId的记录

说明: 表输出,同步到本地数据库

2)示例图

【Kettle】kettle | 数据表增量脚本 | 表输入变量_数据库

 ~~

 3、配置

1)配置表输入-本地最大ID

【Kettle】kettle | 数据表增量脚本 | 表输入变量_数据库连接_02

说明: 配置数据库连接

说明: 查询maxId,无其他配置

2)配置表输入-查询prod增量

【Kettle】kettle | 数据表增量脚本 | 表输入变量_数据库连接_03

 

说明: 配置远程数据库连接

说明: 获取SQL,选择查询的表

说明: where id > ?,重点,"?"即占位符;maxId仅一行值,用?即可

说明: 度娘有用“设置变量”这个组件的,用于多个变量,可自行尝试

3)配置表输出-同步到本地

【Kettle】kettle | 数据表增量脚本 | 表输入变量_数据库连接_04

说明:选择库,选择表即可;无其他操作

~~