Kettle安装步骤:

  1. Kettle官网下载Kettle安装包:pdi-ce-8.3.0.0-371.zip
  2. 解压到任意路径,windows下执行spoon.bat,linux下执行spoon.sh即可启动kettle

 

Kettle-SequoiaDB插件介绍:

  1. Kettle-SequoiaDB插件主要是方便用户在不同数据源之间做数据的迁移转换

 

Kettle_SequoiaDB插件使用方法:

1、打开kettle(data-integration)⽬录,进⼊plugins⽂件夹

2、新建⽂件夹kettle-sequoiadb-plugin

3、进⼊新建的kettle-sequoiadb-plugin中,新建lib⽂件夹,并将SequoiaDB 

驱动包sequoiadb-driver-xxx.jar拷⻉到lib⽂件夹中

4、将kettle-sequoiadb插件的jar包拷⻉到kettle-sequoiadb-plugin中

5、执行spoon.bat重启kettle

 

本说明文档中使用SequoiaDB/MySQL为对象进行说明,因此这里说明一下SequoiaDB/MySQL进行数据迁移所需的其他步骤:

  1. 安装启动MySQL,如5.7.29版本MySQL(需授予远程连接的权限)
  2. 下载MySQL相关插件,如mysql-connctor-java-5.1.48.jar,并将其放到目录data-integration/lib下
  3. 执行spoon.bat重启kettle

 

下面分别以SequoiaDB作为目标端和数据源进行演示:

一、SequoiaDB为目标端,MySQL为数据源

1、Kettle工具栏点击“新建”->“文件”->“转换”

2、点击左侧栏“核心对象”页面中的“输入”,在下拉框列表中选中“表输⼊”,使⽤⿏标拖拽到右侧⾯板中

3、点击左侧栏中“Big Data”,⿏标先选中右侧⾯板中的“表输入“,然后⿏标双

击左侧栏中的“SequoiaDB Output”,两个步骤关联成功,如下图:

kettle 更改mssql server 驱动文件 kettle驱动放置路径_MySQL

4、右侧面板中,双击“表输入”,选择“新建”,“选择类型”选择“MySQL”,填写相关参数后点击“测试”按钮测试连接正常后点击“确认”,如下图:

kettle 更改mssql server 驱动文件 kettle驱动放置路径_数据源_02

5、点击“获取SQL查询语句”,在弹出的数据库中选择自己需要导出的表,点击“确定”

注意:在选择表时,需右键-“生成SQL”-“清除缓存”,否则每次获取的SQL查询语句都是一样的

kettle 更改mssql server 驱动文件 kettle驱动放置路径_字段_03

6、在弹出“包含所有字段”时,选择“是”,然后点击“确定”回到面板

7、右侧⾯板双击“SequoiaDB Output图标”,在弹出的输⼊框内输⼊各种连接参数,并测试连接。

kettle 更改mssql server 驱动文件 kettle驱动放置路径_MySQL_04

8、点击“Output”,填写集合空间名和集合名

kettle 更改mssql server 驱动文件 kettle驱动放置路径_数据源_05

9、点击“Fields”,点击“Get Fields”获取到所有相关字段

kettle 更改mssql server 驱动文件 kettle驱动放置路径_数据源_06

10、参数输入完毕,点击“确定”

11、点击下图中红色标注的按钮,弹出执行界面,点击“启动”,保存转换到一个目录

kettle 更改mssql server 驱动文件 kettle驱动放置路径_数据源_07

12、进入SequoiaDB shell,查询集合下的数据,数据导入成功

kettle 更改mssql server 驱动文件 kettle驱动放置路径_字段_08

二、SequoiaDB为数据源,MySQL为目标端

1、操作步骤与SequoiaDB作为输出源类似。

2、区别是作为数据源时要⼿动输⼊包含的字段和选择字段类型。

kettle 更改mssql server 驱动文件 kettle驱动放置路径_MySQL_09