java调用kettle json输出 kettle json输入

输入&输出组件

• 输入组件

• JSON数据文件输入
• 表输入
• 生成记录

• 输出组件

• 文本文件输出
• 表输出
• 插入更新
• 删除

输入组件

JSON数据文件输入

• 需求：

• 将 user.json 数据文件，通过Kettle，抽取到Excel中

• json数据格式
• 操作步骤：
• 1、新建转换
• 2、拽入 JSON input组件、Microsoft Excel输出组件、并连接两个组件
• 3、配置 JSON input 组件
  ① 指定JSON文件数据源

② 选择 JSON 字段

• 3、配置 Excel 输出 组件



• 4、启动执行

表输入

• 需求：

• 将MySQL数据库中的 user 表中的数据抽取到Excel文件中

• 环境准备：
• 一、Kettle整合MySQL数据库

• 1、将的 MySQL jdbc 驱动包导入到 pdi-ce-8.2.0.0-342\data-integration\lib 中
• 2、重启 Kettle

• 二、MySQL建库

• 导入 test_t_user.sql 到 MySQL数据库中

• 实现步骤：
• 1、拉动 输入/表输入 、输出/Excel输出 组件、连接两个组件
• 2、配置表输入
• 2.1 新建数据库连接



• 2.2 选择 t_user 表，并获取SQL查询语句



• 2.3 预览数据



• 注意：创建一个共享的数据库连接操作步骤
• 主对象树–》DB连接



• 新建连接



• 设置连接共享

• 鼠标右键–》共享；字体变粗后该连接可以全局使用！

• 3、配置Excel输出组件
• 指定Excel输出位置

生成记录

• 数据仓库中绝大多数的数据都是业务系统生成的动态数据，但是其中一部分维度数据不是动态的，比如：日期维度。静态维度数据就可以提前生成。
• 需求：

• 往 Excel 文件中插入1000条记录：id为1，name为han，age为18

• 操作步骤：
• 1、拖入 输入/生成记录 组件、输出/Excel输出 组件、连接两个组件



• 2、配置生成记录组件



• 3、配置Excel输出

输出组件

文本文件输出

• 需求：

• 从mysql数据库的test库的t_user表 抽取数据到文本文件中

• 步骤：
• 1、拖入 一个 输入/表输入、一个 输出/文本文件输出、并连接两个组件
• 2、指定 从哪个表中获取数据
• 3、指定表中的数据输出到哪个文件

表输出

• 表输出就是把数据写入指定的表
• 需求：
• 从 user.json中读取id, name, age字段的数据，装载到mysql数据库的 t_user_1 表中
• 操作步骤：
• 1、拖动 输入/JSON Input组件 ，输出/表输出，连接两个组件



• 2、JSON输入配置



• 3、表输出配置

插入更新

• 插入更新就是把数据库已经存在的记录与数据流里面的记录进行比对

• 如果不同就进行更新
• 如果记录不存在，则会插入数据

• 需求：

• 从user_new.json 中读数据，并插入或更新到mysql数据库的 t_user_1 表中

• 操作步骤：
• 1、拖入一个 输入/JSON输入组件，一个 输出/插入更新组件、连接两个组件



• 2、配置 JSON输入组件



• 3、配置 插入更新 组件



• 4、启动执行

删除

• 需求：

• 从mysql数据库 t_user_1 表中删除指定id为 492456198712198000 的数据

• 操作步骤：
• 1、拖入一个 输入/自定义常量数据、输出/删除 组件
• 2、连接两个组件



• 3、配置自定义常量数据组件



• 4、配置删除组件