1、系统版本信息

  System:Windows旗舰版 Service Pack1

6.1.0.1-196

1.8.0_72

2、连接数据库

  本次实例连接数据库时使用全局变量。

  2.1 创建新转换:spoon启动后,点击Ctrl+N创建新转换

  

kettle 中Java组件解析json数组多行 kettle抽取json数据_字段

  2.2 在新转换界面中,右键点击DB连接,系统会弹出【数据库连接】界面。

  

kettle 中Java组件解析json数组多行 kettle抽取json数据_java_02

  windows系统环境下,可用${}获取变量的内容。

  

kettle 中Java组件解析json数组多行 kettle抽取json数据_操作系统_03

  说明:

必填)

必填)

必填)

    端口号:数据库使用端口号。MS SQL Server默认1433,Oracle默认1521。(必填)

    用户名:登录数据库用户。(必填)

    密码:登录数据库对应用户的密码。(必填)

  2.3 连接完成后,在DB连接下可看到完成的数据库连接。右键点击分享,可生成sharp.xml文件,同时在kettle.properties文件中配置全局变量。

  

kettle 中Java组件解析json数组多行 kettle抽取json数据_数据库_04

  生成的sharp.xml文件截图

  

kettle 中Java组件解析json数组多行 kettle抽取json数据_java_05

  sharp.xml文件部分内容截图。

  

kettle 中Java组件解析json数组多行 kettle抽取json数据_操作系统_06

  kettle.properties部分内容截图。

  

kettle 中Java组件解析json数组多行 kettle抽取json数据_java_07

3、数据抽取转换

核心对象】下可显示在转换中能使用的所有组件。在【输入】中找到表输入,双击出现到设计页面中;在【输出】下,找到表输出,把空间往空白处拖入即可;然后点住shift键,左键连接两者之间的关系。

  

kettle 中Java组件解析json数组多行 kettle抽取json数据_SQL_08

  A.表输入:双击表输入控件,系统会弹出表输入空间的详细内容。

  

kettle 中Java组件解析json数组多行 kettle抽取json数据_字段_09

  说明:

    数据库连接:DB连接下的连接,这里选择就可以

SQL脚本,可以通过“获取SQL查询语句…”获取

    替换SQL语句里的变量:如果在查询条件里使用了变量,需勾选   

    从步骤插入数据:默认

    执行每一行:默认

    记录数量限制:如果为0,则预览时无数据

如果无法确定SQL语句是否正常时可以通过【预览】来查看SQL语句是否正确。

  B.表输出:主选项

  

kettle 中Java组件解析json数组多行 kettle抽取json数据_数据库_10

  说明:

    数据库连接:DB连接下的连接数据源,这里选择就可以

    目标表:选择数据需要插入的数据表

    提交记录数量:每次插入时提交的数量

    裁剪表:如果选中以后,每次都会把目标表的内容清空,然后再插入

    指定数据库字段:表输入的字段和表输出的字段需选择映射关系

  表输出:数据库字段,在这里可以选择字段的映射关系。

  

kettle 中Java组件解析json数组多行 kettle抽取json数据_操作系统_11

  说明:

    获取字段:会自动获取字段的映射关系

    输入字段映射:需手动维护字段的映射关系

    SQL:点击SQL会有选项;执行:本人暂未点击过

  完成了表输入和表输出的连接后,可点击左上角的三角号执行下,在下方可查看执行日志

  

kettle 中Java组件解析json数组多行 kettle抽取json数据_java_12

  

kettle 中Java组件解析json数组多行 kettle抽取json数据_操作系统_13

  

kettle 中Java组件解析json数组多行 kettle抽取json数据_操作系统_14

  说明:

日志可以查看出每个步骤执行的记录数、读、写、输入、输出、更新、拒绝、错误、激活、时间、速度。可根据此处分析当前转换运行效率而断定转换是否需要进行优化。

 

总结:

1、  在运行转换时,当前转换是处于并发状态,如果有多个表输入则会同时运行。

2、  在设计转换时最好是一个数据流,不要一个转换有多条数据流;如果有多条数据流则有可能发生锁表问题。