获取系统信息,表输入及文本文件输出:

 

kettle读取es kettle读取文本文件_控件

如图:这是整个转换。

 

 

kettle读取es kettle读取文本文件_KETTLE_02

 

在获取系统信息中设置一个参数,参数为表输入中select语句的where条件,表输入中注意要勾选替换SQL语句中的变量,以及填写下一步获取系统信息。

 

而系统信息是从转换开始处设置

kettle读取es kettle读取文本文件_控件_03

在执行转换之前在下面设置其参数,参数device_id为550377,所以 整个表输入的SQL语句则为:

SELECT

FROM zj_jyxx_info1 WHERE DEVICE_ID>'550377'

kettle读取es kettle读取文本文件_kettle读取es_04

文本文件输出这里,可以通过这个组件将表中的数据输出到TXT文件中。

 

文本文件输入到数据库中:

 

整个流程如下:

kettle读取es kettle读取文本文件_kettle读取es_05

通过文本文件输入数据,传输到数据库的表中。

 

kettle读取es kettle读取文本文件_实例_06

在这里,双击文本文件输入,点击浏览找到要输入的文本文件,点击打开,之后单击增加

kettle读取es kettle读取文本文件_控件_07

在内容这里,可以设置文本文件的输入参数:文件类型,分隔符,编码方式等等。

文件类型:

纯文本文件选择 CSV,逗号分隔值文件(Comma Seperated Value),是一种用

来存储数据的纯文本文件格式,通常用于电子表格或数据库软件。

分隔符:关键选项,文本内容根据其分割内容,建议多个“空格”+“:”。

kettle读取es kettle读取文本文件_控件_08

表输出这里,选择好数据库及表后,可以设置输入字段映射,因为我的文本文件是我之前从表中导出的数据,所以可以直接对应相应的字段,之后点击执行即可。

Excel输入:

整个流程如下:

kettle读取es kettle读取文本文件_控件_09

 

通过Excel输入与文本文档输入有些类似

kettle读取es kettle读取文本文件_kettle读取es_10

同样是浏览选择添加

之后工作表页面选择你的数据所在的Excel的地方,通常都是sheet

kettle读取es kettle读取文本文件_KETTLE_11

字段页直接获取字段即可

kettle读取es kettle读取文本文件_KETTLE_12

单击确定,之后表输出和上面文本文档输入类似,因为我的Excel数据是直接从数据库中导出,所以数据的表字段都可以直接获取到,输入到库中,也无需重新建表。

之后单击运行,数据即从Excel中输入到数据库中。

xml文件输入

kettle读取es kettle读取文本文件_KETTLE_13

如图,为xml文件输入的整体流程

kettle读取es kettle读取文本文件_kettle读取es_14

此步与文本文件输入基本一致。

kettle读取es kettle读取文本文件_控件_15

内容部分,需要选择编码方式及循环读取的路径;

如xml文件为:<?xml version="1.0" encoding="utf-8"?>

<res>

  <item>

    <Sqid>SPSCSP3317000636</Sqid>

    <QYMC>上海华灵科技发展有限公司</QYMC>

    <Fzjg></Fzjg>

    <Lxrxm></Lxrxm>

    <Lxrsj></Lxrsj>

    <InsertTime>2017-11-23 09:49:00.0</InsertTime>

  </item>

  <item>

    <Sqid>SPSCSP3317000636</Sqid>

    <QYMC>上海华灵科技发展有限公司</QYMC>

    <Fzjg></Fzjg>

    <Lxrxm></Lxrxm>

    <Lxrsj></Lxrsj>

    <InsertTime>2017-11-23 09:49:00.0</InsertTime>

  </item>

</res>

 

则循环读取的路径为:/item

kettle读取es kettle读取文本文件_控件_16

字段位置则需点击获取字段,就会将xml文件中/item中所有的字段获取出来。

之后就是表输出,选择目标表,输入字段映射,点击确定,之后运行即可。

生成随机数并计算后输出

kettle读取es kettle读取文本文件_实例_17

如图为整个流程

 

 

kettle读取es kettle读取文本文件_KETTLE_18

在此处生成随机值的页面,填写随机数名称,并选择随机数类型

kettle读取es kettle读取文本文件_KETTLE_19

在计算器页面选择要生成的新字段,以及计算方式,要计算的字段,生成的值的类型以及长度。

kettle读取es kettle读取文本文件_ETL工具_20

上图为最后输出的文本文件,num1,num2,num3,以及计算num1*num2所得出的值

 

kettle读取es kettle读取文本文件_控件_21

而写日志可以通过获取字段获取到要打印出来的字段值,之后下面的日志中便会写出所生成的随机数以及计算结果。

 

CSV文件输入

kettle读取es kettle读取文本文件_ETL工具_22

此为CSV文件输入的总流程

首先获取一些数据生成一个TXT文件

kettle读取es kettle读取文本文件_ETL工具_23

 

数据格式如上所示

kettle读取es kettle读取文本文件_控件_24

之后文件输入,选择分隔符以及编码方式,并获取字段,之后预览,看有没有什么问题。

而后表输出,输入字段映射。之后执行成功。

kettle读取es kettle读取文本文件_ETL工具_25

此为执行成功后的数据。

json输入

如下图为整个流程

kettle读取es kettle读取文本文件_ETL工具_26

通过json输入,首先需要将你的json串保存为.js格式,否则kettle无法识别,之后将编码格式改外ANSI,这样不会出现乱码。

kettle读取es kettle读取文本文件_kettle读取es_27

之后就是添加文件,选择字段,表输出部分选择连接数据库,目标表,以及字段映射。

kettle读取es kettle读取文本文件_KETTLE_28

kettle读取es kettle读取文本文件_kettle读取es_29

 

上图为json输入字符串,以及表输出后插入到目标表中的数据。

 

生成记录  

kettle读取es kettle读取文本文件_KETTLE_30

上图为整个流程,本流程是将生成的记录输出为一个TXT文件。

kettle读取es kettle读取文本文件_ETL工具_31

在生成记录这里,可以增加字段的名称类型以及长度赋值等等,上面的限制则是限制你显示的行数,例如限制为五行,则为下图

kettle读取es kettle读取文本文件_KETTLE_32

 

通过文本文件输出之后的效果如下图所示:

ABC是三个字段的名称,下面就是他们的值了。

kettle读取es kettle读取文本文件_ETL工具_33

 

获取子目录名:

通过此组件可以将某目录下的所有子文件夹作为字段数据输出

kettle读取es kettle读取文本文件_KETTLE_34

 

 

kettle读取es kettle读取文本文件_KETTLE_35

下图为作为文本文件输出后的效果图

 

kettle读取es kettle读取文本文件_实例_36

 

获取文件名

kettle读取es kettle读取文本文件_kettle读取es_37

通过该组件可以将想要得到的文件名通过该组件生成文件或者插入到数据库中。

kettle读取es kettle读取文本文件_控件_38

此为预览后的效果图,包括文件名称以及文件路径,文件创建时间,大小等详细信息。

 

获取文件行数:

通过该组件可以获取到文件中数据的行数

kettle读取es kettle读取文本文件_实例_39

下图为预览的效果图

kettle读取es kettle读取文本文件_KETTLE_40

获取表名:

下图为总览图

kettle读取es kettle读取文本文件_KETTLE_41

通过获取表名组件获取到某数据库下所有的表,并将它们作为数据字段信息插入到表中

 

kettle读取es kettle读取文本文件_控件_42

获取表名组件中可以选择是否包含数据库名称,以及表名,视图,存储过程名称等等。

下图为只显示表名后的预览效果

kettle读取es kettle读取文本文件_ETL工具_43

下图为通过表输出之后在数据库中显示的效果

kettle读取es kettle读取文本文件_实例_44

 

获取资源库配置

暂时只知道该组件可以获取到该kettle所连接数据库下的所有job以及trans

kettle读取es kettle读取文本文件_kettle读取es_45

下图为预览效果图

kettle读取es kettle读取文本文件_实例_46

 

Excel输出:

通过该组件可以将表中数据输出为Excel,之前每次导出都很麻烦,通过kettle可以直接选择表输入,写入SQL,直接选择Excel输出点击运行即可,速度也很快。

kettle读取es kettle读取文本文件_KETTLE_47

上图为总览图,下图为表输入以及Excel输出的效果图

kettle读取es kettle读取文本文件_控件_48

kettle读取es kettle读取文本文件_ETL工具_49

Excel输出这里可以选择输出Excel的扩展名,是xls还是xlsx。

 

json输出

通过该组件可以将表中的数据输出成json串

下图为总览图

kettle读取es kettle读取文本文件_KETTLE_50

 

kettle读取es kettle读取文本文件_KETTLE_51

表输入没什么变化都是一样的。

kettle读取es kettle读取文本文件_KETTLE_52

Json输出这里可以选择输出的文件名输出的文件条数以及编码方式等等。

如下图是选择了输出四条数据的效果图

kettle读取es kettle读取文本文件_实例_53

 

SQL文件输出

该组件可以通过表输入,可以将所输入表的表结构以及数据改变成SQL语句通过文件进行输出。

下图为总览图

kettle读取es kettle读取文本文件_控件_54

表输入,与之前一样没什么区别。

 

下图为SQL文件输出组件

kettle读取es kettle读取文本文件_实例_55

选择连接数据库,及目标表,下面输出文件中可以选择输出文件名及创建表语句或者清空表语句,以及下面的包含如期时间等选项。

kettle读取es kettle读取文本文件_ETL工具_56

内容页面可以选择日期格式以及编码格式。

如下图则为输出后的文件,可以直接拿到数据库中执行。

kettle读取es kettle读取文本文件_KETTLE_57