获取系统信息,表输入及文本文件输出:
如图:这是整个转换。
在获取系统信息中设置一个参数,参数为表输入中select语句的where条件,表输入中注意要勾选替换SQL语句中的变量,以及填写下一步获取系统信息。
而系统信息是从转换开始处设置
在执行转换之前在下面设置其参数,参数device_id为550377,所以 整个表输入的SQL语句则为:
SELECT
FROM zj_jyxx_info1 WHERE DEVICE_ID>'550377'
文本文件输出这里,可以通过这个组件将表中的数据输出到TXT文件中。
文本文件输入到数据库中:
整个流程如下:
通过文本文件输入数据,传输到数据库的表中。
在这里,双击文本文件输入,点击浏览找到要输入的文本文件,点击打开,之后单击增加
在内容这里,可以设置文本文件的输入参数:文件类型,分隔符,编码方式等等。
文件类型:
纯文本文件选择 CSV,逗号分隔值文件(Comma Seperated Value),是一种用
来存储数据的纯文本文件格式,通常用于电子表格或数据库软件。
分隔符:关键选项,文本内容根据其分割内容,建议多个“空格”+“:”。
表输出这里,选择好数据库及表后,可以设置输入字段映射,因为我的文本文件是我之前从表中导出的数据,所以可以直接对应相应的字段,之后点击执行即可。
Excel输入:
整个流程如下:
通过Excel输入与文本文档输入有些类似
同样是浏览选择添加
之后工作表页面选择你的数据所在的Excel的地方,通常都是sheet
字段页直接获取字段即可
单击确定,之后表输出和上面文本文档输入类似,因为我的Excel数据是直接从数据库中导出,所以数据的表字段都可以直接获取到,输入到库中,也无需重新建表。
之后单击运行,数据即从Excel中输入到数据库中。
xml文件输入
如图,为xml文件输入的整体流程
此步与文本文件输入基本一致。
内容部分,需要选择编码方式及循环读取的路径;
如xml文件为:<?xml version="1.0" encoding="utf-8"?>
<res>
<item>
<Sqid>SPSCSP3317000636</Sqid>
<QYMC>上海华灵科技发展有限公司</QYMC>
<Fzjg></Fzjg>
<Lxrxm></Lxrxm>
<Lxrsj></Lxrsj>
<InsertTime>2017-11-23 09:49:00.0</InsertTime>
</item>
<item>
<Sqid>SPSCSP3317000636</Sqid>
<QYMC>上海华灵科技发展有限公司</QYMC>
<Fzjg></Fzjg>
<Lxrxm></Lxrxm>
<Lxrsj></Lxrsj>
<InsertTime>2017-11-23 09:49:00.0</InsertTime>
</item>
</res>
则循环读取的路径为:/item
字段位置则需点击获取字段,就会将xml文件中/item中所有的字段获取出来。
之后就是表输出,选择目标表,输入字段映射,点击确定,之后运行即可。
生成随机数并计算后输出
如图为整个流程
在此处生成随机值的页面,填写随机数名称,并选择随机数类型
在计算器页面选择要生成的新字段,以及计算方式,要计算的字段,生成的值的类型以及长度。
上图为最后输出的文本文件,num1,num2,num3,以及计算num1*num2所得出的值
而写日志可以通过获取字段获取到要打印出来的字段值,之后下面的日志中便会写出所生成的随机数以及计算结果。
CSV文件输入
此为CSV文件输入的总流程
首先获取一些数据生成一个TXT文件
数据格式如上所示
之后文件输入,选择分隔符以及编码方式,并获取字段,之后预览,看有没有什么问题。
而后表输出,输入字段映射。之后执行成功。
此为执行成功后的数据。
json输入
如下图为整个流程
通过json输入,首先需要将你的json串保存为.js格式,否则kettle无法识别,之后将编码格式改外ANSI,这样不会出现乱码。
之后就是添加文件,选择字段,表输出部分选择连接数据库,目标表,以及字段映射。
上图为json输入字符串,以及表输出后插入到目标表中的数据。
生成记录
上图为整个流程,本流程是将生成的记录输出为一个TXT文件。
在生成记录这里,可以增加字段的名称类型以及长度赋值等等,上面的限制则是限制你显示的行数,例如限制为五行,则为下图
通过文本文件输出之后的效果如下图所示:
ABC是三个字段的名称,下面就是他们的值了。
获取子目录名:
通过此组件可以将某目录下的所有子文件夹作为字段数据输出
下图为作为文本文件输出后的效果图
获取文件名
通过该组件可以将想要得到的文件名通过该组件生成文件或者插入到数据库中。
此为预览后的效果图,包括文件名称以及文件路径,文件创建时间,大小等详细信息。
获取文件行数:
通过该组件可以获取到文件中数据的行数
下图为预览的效果图
获取表名:
下图为总览图
通过获取表名组件获取到某数据库下所有的表,并将它们作为数据字段信息插入到表中
获取表名组件中可以选择是否包含数据库名称,以及表名,视图,存储过程名称等等。
下图为只显示表名后的预览效果
下图为通过表输出之后在数据库中显示的效果
获取资源库配置
暂时只知道该组件可以获取到该kettle所连接数据库下的所有job以及trans
下图为预览效果图
Excel输出:
通过该组件可以将表中数据输出为Excel,之前每次导出都很麻烦,通过kettle可以直接选择表输入,写入SQL,直接选择Excel输出点击运行即可,速度也很快。
上图为总览图,下图为表输入以及Excel输出的效果图
Excel输出这里可以选择输出Excel的扩展名,是xls还是xlsx。
json输出
通过该组件可以将表中的数据输出成json串
下图为总览图
表输入没什么变化都是一样的。
Json输出这里可以选择输出的文件名输出的文件条数以及编码方式等等。
如下图是选择了输出四条数据的效果图
SQL文件输出
该组件可以通过表输入,可以将所输入表的表结构以及数据改变成SQL语句通过文件进行输出。
下图为总览图
表输入,与之前一样没什么区别。
下图为SQL文件输出组件
选择连接数据库,及目标表,下面输出文件中可以选择输出文件名及创建表语句或者清空表语句,以及下面的包含如期时间等选项。
内容页面可以选择日期格式以及编码格式。
如下图则为输出后的文件,可以直接拿到数据库中执行。