介绍

kettle 是纯 java 开发，开源的 ETL工具，用于数据库间的数据迁移 。可以在 Linux、windows、unix 中运行。有图形界面，也有命令脚本还可以二次开发。

kettle 的官网是 https://community.hitachivantara.com/docs/DOC-1009855，github 地址是 GitHub - pentaho/pentaho-kettle: Pentaho Data Integration ( ETL ) a.k.a Kettle。

安装

这边以 windows 下的配置为例，linux 下配置类似。

jdk 安装及配置环境变量

由于 kettle 是基于 java 的，因此需要安装 java 环境，并配置 JAVA_HOME 环境变量。

建议安装 JDK1.8 及以上，7.0以后版本的 kettle 不支持低版本 JDK。

下载 kettle

从 官网 下载 kettle ，解压到本地即可。

下载相应的数据库驱动

由于 kettle 需要连接数据库，因此需要下载对应的数据库驱动。否则，建立数据库连接会报找不到驱动jar包的错误。如 连接mysql 数据库的报错如下：

错误连接数据库 [mysql] : org.pentaho.di.core.exception.KettleDatabaseException: 
Error occurred while trying to connect to the database

Driver class ‘org.gjt.mm.mysql.Driver‘ could not be found, make sure the ‘MySQL‘ driver (jar file) is installed.
org.gjt.mm.mysql.Driver


org.pentaho.di.core.exception.KettleDatabaseException: 
Error occurred while trying to connect to the database

Driver class ‘org.gjt.mm.mysql.Driver‘ could not be found, make sure the ‘MySQL‘ driver (jar file) is installed.
org.gjt.mm.mysql.Driver

例如 MySQL 数据库需要下载 mysql-connector-java.jar，oracle 数据库需要下载 ojdbc.jar。下载完成后，将 jar 放入 kettle 解压后路径的 lib 文件夹中即可。

下载地址：

注意：本文基于 pdi-ce-8.2.0.7-719 版本进行介绍，低版本可能有区别。

启动

进入 kettle 安装解压目录，双击 Spoon.bat 就能启动 kettle 。

kettle设置mysql驱动 kettle支持的数据库_java

 

转换

转换包括一个或多个步骤，步骤之间通过跳（hop）来连接。跳定义了一个单向通道，允许数据从一个步骤流向另一个步骤。在Kettle中，数据的单位是行，数据流就是数据行从一个步骤到另一个步骤的移动。

  • 打开 kettle，点击 文件->新建->转换。

kettle设置mysql驱动 kettle支持的数据库_jar_02

  • 在左边 DB 连接处点击新建。

kettle设置mysql驱动 kettle支持的数据库_java_03

  • 根据提示配置数据库，配置完成后可以点击测试进行验证，这边以 Postgresql 为例。

kettle设置mysql驱动 kettle支持的数据库_java_04

 

  • 在左侧找到表输入（核心对象->输入->表输入），拖到右方。

kettle设置mysql驱动 kettle支持的数据库_数据库_05

  • 双击右侧表输入，进行配置，选择数据源，并输入 SQL。可以点击预览进行预览数据。

kettle设置mysql驱动 kettle支持的数据库_jar_06

kettle设置mysql驱动 kettle支持的数据库_mysql_07

注：也可以点击右侧的 “获取SQL查询语句” 按钮，就会出现选择表的界面，选择表之后，点击确定，就会生成查询语句（不过如果不是本地的数据源且网络不佳的情况下不推荐使用）。

  • 在左侧找到插入/更新（核心对象->输出->插入/更新），拖到右方。

kettle设置mysql驱动 kettle支持的数据库_kettle设置mysql驱动_08

  • 按住 Shift 键，把表输入和插入/更新用线连接起来。

kettle设置mysql驱动 kettle支持的数据库_java_09

  • 双击插入/更新进行配置。

kettle设置mysql驱动 kettle支持的数据库_kettle设置mysql驱动_10

  • 点击运行，就可以运行这一个转换。

kettle设置mysql驱动 kettle支持的数据库_java_11

  • 运行结束后，我们可以在下方看到运行结果，其中有日志，数据预览等，我们可以看到一共读取了多少条数据，插入更新了多少数据等等。

kettle设置mysql驱动 kettle支持的数据库_kettle设置mysql驱动_12

这样就完成了一个最简单的转换，从一个表取数据，插入更新到另一个表。

其次再进行配置删除的同步。

kettle设置mysql驱动 kettle支持的数据库_jar_13

 

作业

如果想要定时运行这个转换，那么就要用到作业。

  • 新建一个作业。

kettle设置mysql驱动 kettle支持的数据库_jar_14

  • 从左侧依次拖动 START 、转换、成功到右侧，并用线连接起来。

kettle设置mysql驱动 kettle支持的数据库_java_15

  • 双击 START，可以配置作业的运行间隔，这边配置了5秒运行一次。

kettle设置mysql驱动 kettle支持的数据库_java_16

  • 双击转换，选择之前新建的那个转换。

kettle设置mysql驱动 kettle支持的数据库_java_17

  • 点击运行，就能运行这次作业，点击停止就能停止。在下方执行结果，可以看到运行的日志。

kettle设置mysql驱动 kettle支持的数据库_数据库_18

这样就完成了一个最简单的作业，每隔1小时，将源表的数据迁移到目标表。

总结

kettle 是一个非常强大的 ETL 工具，通过图形化界面的配置，可以实现数据迁移，并不用开发代码。通过它的作业，kettle 能自动地运行转换。