本文将记录下如何简单的操作kettle,针对CVS以及Excel文件进行入库操作。

CVS入库操作

创建数据库表

第一步: 创建数据库 kettle
第二步: 建表

DLL语句如下:

CREATE TABLE `csv_test` (
  `id` int(11) NOT NULL,
  `name` varchar(255) DEFAULT NULL,
  `address` varchar(255) DEFAULT NULL,
  `flag` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;

第三步: 创建CSV文件

id,name,address,flag
1,天使,瑞士,0
2,莱因哈特,德国,1
3,托比昂,瑞典,2
4,麦克雷,美国,3
转换操作

第一步:创建输入

kettle 自动执行job java项目 怎么在kettle执行存储过程_创建数据库


使用鼠标拖入到右侧工作区。第二步:创建输出

kettle 自动执行job java项目 怎么在kettle执行存储过程_kettle_02


使用鼠标拖入右侧工作区。

第三步:建立联系

kettle 自动执行job java项目 怎么在kettle执行存储过程_kettle_03


鼠标左键+shift单击CSV文件输入,然后移动鼠标到右边表输出,按下鼠标当出现蓝色线条即建立连接。或者使用鼠标中键。双击CSV文件输入

kettle 自动执行job java项目 怎么在kettle执行存储过程_elk_04


第一步:选择输入的csv文件

第二步:选择文件编码,与UTF-8一致

双击表输出

配置表输出项:

kettle 自动执行job java项目 怎么在kettle执行存储过程_kettle_05


第一步:建立数据库连接

点击编译按钮,或者新建按钮

kettle 自动执行job java项目 怎么在kettle执行存储过程_数据处理_06


选择数据驱动类型,添加数据库连接信息。

注意,对于各个数据库需要添加对应的数据库驱动jar。第三步:获取字段,可以加载数据库表字段

kettle 自动执行job java项目 怎么在kettle执行存储过程_elk_07

执行

点击执行按钮,结果如下

kettle 自动执行job java项目 怎么在kettle执行存储过程_数据处理_08

Excel入库操作

创建数据库表

同上面类似
第一步:创建excel文件

id	name	age
1	张三	22
2	李四	23
3	王五	20

第二步:创建DDL

CREATE TABLE `excel_test` (
  `id` int(11) NOT NULL,
  `name` varchar(255) DEFAULT NULL,
  `age` int(11) DEFAULT NULL,
  PRIMARY KEY (`id`)
) ENGINE=InnoDB DEFAULT CHARSET=utf8;
转换操作

建立输入输出:

kettle 自动执行job java项目 怎么在kettle执行存储过程_字段_09


第一步:编辑excel输入

选择表格类型引擎,注意选择XLSX类型的引擎

kettle 自动执行job java项目 怎么在kettle执行存储过程_字段_10


添加需要输入的excel文件

kettle 自动执行job java项目 怎么在kettle执行存储过程_数据处理_11


选择编码类型

kettle 自动执行job java项目 怎么在kettle执行存储过程_创建数据库_12


获取头部属性字段

kettle 自动执行job java项目 怎么在kettle执行存储过程_elk_13

第二步: 表输出设置
表输出设置跟CVS设置一样

执行

kettle 自动执行job java项目 怎么在kettle执行存储过程_kettle_14


kettle 自动执行job java项目 怎么在kettle执行存储过程_数据处理_15