一、转换和作业定义转换（Transformation） 和 作业（Job）是Spoon设计器的核心两个内容，这两块内容构建了整个Kettle工作流程的基础。转换（Transformation）：主要是针对数据的各种处理（即数据量），一个转换里可以包 含多个步骤（Step）。作业（Job）：作业是步骤流，一个作业里包括多个作业项（Job Entry），一个作业项代表了一项工作，而转换是一种作业项，即
转载
2024-06-30 11:01:39
112阅读
一直用SSIS做ETL,越来越感觉这玩意不是亲生的.因此萌生换ETL工具的想法,不过Kettle社区版没什么调度系统,貌似错误处理也不是很方便,且先了解吧. 本文简略的记录了整个软件的使用流程. 开始Kettle 的几个子程序的功能和启动方式Spoon.bat: 图形界面方式启动作业和转换设计器。 Pan.bat: 命令行方式执行转换。 Kitchen.bat: 命令行方式执行作业。 Carte.
目录一、Kettle是什么二、Kettle的两种设计三、Kettle核心组件四、安装与启动五、使用5.1 简单介绍5.2 输入5.3 输出5.4 转换5.5 脚本一、Kettle是什么Kettle最早是一个开源的ETL（Extract-Transform-Load，数据仓库技术）工具，全称为KDE Extraction, Transportation, Transformation and Loa
转载
2024-05-24 18:46:07
52阅读
Kettle版本：3.2GAJDK版本：1.6.0_41OS：NT由于组件涉及非常多，我这就只举例几个常用的组件来进行介绍。需要了解全部组件下载Kettle用户手册下载 本弹给大家详细说明的组件：表输入、获取系统信息、表输出、字符选择、过滤记录、执行SQL语句、设置变量、获取变量 表输入（Table Input）屏幕截图图标功能说明常用来利用连接和 SQL，从数据库中读取信息。
转载
2024-09-16 12:14:22
95阅读
简介Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。Kettle家族目前包括4个产品：Spoon、Pan、CHEF、Kitchen。SPOON 允许你通过图形界面来设计ETL转换过程（Transformation）。PAN 允许你批量运行由Spoon设计的ETL转换 (例如使用一个时间调度器)。Pan是一个后台执行的程序，
转载
2024-10-24 19:53:32
218阅读
概述PDI客户端(Spoon)的Pentaho数据集成视角使您能够创建两种基本的文件类型：转换用于执行ETL任务。作业用于编排ETL活动，例如定义应该运行哪些顺序转换的流和依赖关系，或者通过检查条件来为执行做准备。PDI使用工作流比喻作为转换数据和其他任务的构建块。工作流是在您创建转换和作业时使用步骤或条目构建的。每一个步骤或条目都由一个跃点连接起来，它将数据流从一项传递到下一项。转换转换是一个称
关于Kettle版本信息同第三弹，这里我就不再说明。对于在作业中，大家所经常使用到的是组件如“START”、“Truncate tables”、“Job”、“Transformation”、“Success”、“Mail”、“SQL”等。本弹就不一一详细讲解。如有需要了解更多，详见【Kettle学习手册】。 开始（Start）屏幕截图图标功能说明Start 是任务执行的入口，首先必须
转载
2024-04-23 09:49:13
112阅读
概述XML input stream (StAX)(XML文件输入(StAX解析))步骤使用XML (StAX)解析器流API从XML文件中读取数据。这一步对于快速处理大型和复杂的数据结构是最理想的。与使用内存处理并需要清除部分文件的从XML文件输入步骤不同，XML文件输入(StAX解析)步骤将处理逻辑转移到转换中。该步骤本身提供了原始XML数据流以及其他处理信息。当您对其他步骤有限制时，或者需要
转载
2024-03-24 08:40:44
903阅读
KETTLE有多种参数，我主要用到的，分别是parameter，argument和自定义的参数。 1、parameter 使用这个参数相对比较简单，可以在job的空白处右键选job setting，可以看到tab parameter选项 在parameter选项可以定义参数的名字和默认值， 图形界面运行job时，可以直接在运行JOB前的lauch面板输入这个参数的值， 命令行运行job时，可以使用
转载
2024-03-30 17:07:11
350阅读
kettle与钉钉结合的企业内部应用扩展01 晨枫0215 2019-09-23 16:46Kettle作为了一个开源的工具，尤其现在大数据应用环境下，企业内部的数据清理应用就更多。另外一方面，钉钉作为企业内部沟通平台，相比2年前，发展的更快，应用场景在扩大。企业也愿意在钉钉上花费多的时间和精力打包，企业内部的移动办公平台。ETL与邮件服务器交互早期，ETL应用会跟
转载
2024-08-30 17:48:09
0阅读
1.1 基本概念 Kettle 是”Kettle E.T.T.L. Envirnonment”只取首字母的缩写，这意味着它被设计用来帮助你实现你的ETTL 需要：抽取、转换、装入和加载数据；翻译成中文名称应该叫水壶，名字的起源正如该项目的主程序员MATT 在一个论坛里说的哪样：希望把各种数据放到一个壶里然后以一种指定的格式流出。Spoon 是一个图形用户界面，它允许你运行转换或者任务，其中转换是用
转载
2024-06-25 15:11:23
83阅读
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。 Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。&
概述Text file input(文本文件输入)步骤从各种文本文件类型读取数据，包括由电子表格和固定宽度的平面文件生成的格式。该步骤的特性允许您从文件或目录列表中读取，使用正则表达式形式的通配符，并接受前面步骤中生成的文件名。选项 文本文件输入 Text file input(文本文件输入)步骤有以下选项：Step name(步骤名称)：在画布上指定Text file input(文本
转载
2024-10-13 18:31:55
0阅读
当我用s1 EPSDK36 run xsd文件时，从一个已经做好的xsd文件copy template写自己的文件时，总是报出：Content is not allowed in prolog 错误。尝试半天结果一样，用文件对比工具问题还是得不到解决；查询得知是BOM的问题，把文件转存为UTF-8 no BOM 格式，一切ok。 现做简单总结； **************************
转载
2024-05-07 19:54:26
152阅读
案例介绍：通过Kettle工具，对数据进行检验操作案例实现：1.打开Kettle工具，创建转换使用Kettle工具，创建一个转换data_validation，并添加“自定义常量数据”控件、“计算器”控件、“数据检验”控件、“空操作”控件以及Hop跳连接线。2.配置”自定义常量数据”控件双击“自定义常量数据”控件，进入“自定义常量数据”界面配置实验用数据；单击“元数据”选项卡，添加字段常量Prod
转载
2024-04-08 15:51:08
366阅读
条件语句if, else, 和 elif 三个关键字可以让你运行不同的代码分支。a = int(input("输入一个数字: ")) # 1️⃣if a > 3: # 2️⃣ print("比3大")elif a == 3: # 3️⃣ print("等于3")else: # 4️⃣ print("小于3")1.用户输入一个数字，Python 把用户输入转换为 int 存入
转载
2024-03-23 14:08:29
578阅读
Kettle实战1（将csv数据输出为Excel数据）原始数据： user.csv ?转换后数据： user_csv2excel.xls ?Kettle实战2（将json数据输出为Excel数据）部分原始数据： user.json ?转换后数据： user_json2excel.xls ?Kettle实战3（将MySQL数据输出为Excel数据）原始数据：stu1表?转换后数据： stu1_mys
转载
2024-05-27 22:13:02
78阅读
摘要： 上一篇介绍了数据输入的插件，这一篇介绍一下数据输出的插件，类似数据输入，输出的插件也有很多，可以将数据输出到文本文件，excel文件，xml文件，还可以根据sql语句删除数据库表里的数据，也可以使用插入/更新插件insert或update数据库表里的指定字段，下面先来看几个输出的插件：插入/更新 1、 步骤名称：要写入数据的表的schema名称。 2、 commit
转载
2024-03-28 07:10:58
304阅读
kettle使用MD5加密增量获取接口数据场景介绍：使用JavaScript组件进行MD5加密得到Http header，调用API接口增量获取接口数据，使用json input组件解析数据入库案例适用范围：MD5加密可参考、增量过程可参考、调用API接口获取数据可参考、Json Input组件使用可参考整个job设置如下设计：JOB介绍：JOB包括获取增量时间点、记录日志、更新增量时间点、获取接
转载
2024-08-23 14:00:44
692阅读
需求：这将是一个系列的博客，这篇只是个开始，后面将陆续的通过实例来讲解软件如何使用，当然不可能面面俱到，很多功能还需要我们不断的挖掘和完善。工具介绍： 说了这么多这个软件到底是什么呢？就是一个我们中文意思是水壶的英文单词kettle，当然它的原意不是这样的，它是“Kettle E.T.T.L. Envirnonment”只取首字母的缩写，这意味着
转载
2024-09-19 16:55:44
158阅读
