一、下载安装kettle方式 Kettle最早叫做Kettle，后来该名为PDI，不过大多数人还是习惯于叫Kettle 两种下载方式 官网下载kettle，需要在官网填写注册信息，下载的会是最新版本的kettle，2021.3.19日官网最新9.1版本。 百度搜索下载kettle的地
转载
2024-05-09 12:50:03
129阅读
KETTLE有多种参数，我主要用到的，分别是parameter，argument和自定义的参数。 1、parameter 使用这个参数相对比较简单，可以在job的空白处右键选job setting，可以看到tab parameter选项 在parameter选项可以定义参数的名字和默认值， 图形界面运行job时，可以直接在运行JOB前的lauch面板输入这个参数的值， 命令行运行job时，可以使用
转载
2024-03-30 17:07:11
350阅读
025-大数据ETL工具之StreamSets安装及订阅mysql binlog 2019-06-10这是坚持技术写作计划（含翻译）的第 25 篇，定个小目标 999，每周最少 2 篇。本文主要介绍 CDH6.2+StreamSets3.9。StreamSets 是一个大数据采集和数据处理工具。可以通过拖拽式的可视化操作，实现数据管道(Pipelines)的设计和调度。其特点有：拖拽式的
kettle使用MD5加密增量获取接口数据场景介绍：使用JavaScript组件进行MD5加密得到Http header，调用API接口增量获取接口数据，使用json input组件解析数据入库案例适用范围：MD5加密可参考、增量过程可参考、调用API接口获取数据可参考、Json Input组件使用可参考整个job设置如下设计：JOB介绍：JOB包括获取增量时间点、记录日志、更新增量时间点、获取接
转载
2024-08-23 14:00:44
692阅读
摘要： 上一篇介绍了数据输入的插件，这一篇介绍一下数据输出的插件，类似数据输入，输出的插件也有很多，可以将数据输出到文本文件，excel文件，xml文件，还可以根据sql语句删除数据库表里的数据，也可以使用插入/更新插件insert或update数据库表里的指定字段，下面先来看几个输出的插件：插入/更新 1、 步骤名称：要写入数据的表的schema名称。 2、 commit
转载
2024-03-28 07:10:58
308阅读
简介Kettle是一款国外开源的ETL工具，纯java编写，可以在Windows、Linux、Unix上运行，数据抽取高效稳定。Kettle家族目前包括4个产品：Spoon、Pan、CHEF、Kitchen。SPOON 允许你通过图形界面来设计ETL转换过程（Transformation）。PAN 允许你批量运行由Spoon设计的ETL转换 (例如使用一个时间调度器)。Pan是一个后台执行的程序，
转载
2024-10-24 19:53:32
218阅读
概述PDI客户端(Spoon)的Pentaho数据集成视角使您能够创建两种基本的文件类型：转换用于执行ETL任务。作业用于编排ETL活动，例如定义应该运行哪些顺序转换的流和依赖关系，或者通过检查条件来为执行做准备。PDI使用工作流比喻作为转换数据和其他任务的构建块。工作流是在您创建转换和作业时使用步骤或条目构建的。每一个步骤或条目都由一个跃点连接起来，它将数据流从一项传递到下一项。转换转换是一个称
目录一、Kettle是什么二、Kettle的两种设计三、Kettle核心组件四、安装与启动五、使用5.1 简单介绍5.2 输入5.3 输出5.4 转换5.5 脚本一、Kettle是什么Kettle最早是一个开源的ETL（Extract-Transform-Load，数据仓库技术）工具，全称为KDE Extraction, Transportation, Transformation and Loa
转载
2024-05-24 18:46:07
52阅读
一直用SSIS做ETL,越来越感觉这玩意不是亲生的.因此萌生换ETL工具的想法,不过Kettle社区版没什么调度系统,貌似错误处理也不是很方便,且先了解吧. 本文简略的记录了整个软件的使用流程. 开始Kettle 的几个子程序的功能和启动方式Spoon.bat: 图形界面方式启动作业和转换设计器。 Pan.bat: 命令行方式执行转换。 Kitchen.bat: 命令行方式执行作业。 Carte.
需求：这将是一个系列的博客，这篇只是个开始，后面将陆续的通过实例来讲解软件如何使用，当然不可能面面俱到，很多功能还需要我们不断的挖掘和完善。工具介绍： 说了这么多这个软件到底是什么呢？就是一个我们中文意思是水壶的英文单词kettle，当然它的原意不是这样的，它是“Kettle E.T.T.L. Envirnonment”只取首字母的缩写，这意味着
转载
2024-09-19 16:55:44
158阅读
关于Kettle版本信息同第三弹，这里我就不再说明。对于在作业中，大家所经常使用到的是组件如“START”、“Truncate tables”、“Job”、“Transformation”、“Success”、“Mail”、“SQL”等。本弹就不一一详细讲解。如有需要了解更多，详见【Kettle学习手册】。 开始（Start）屏幕截图图标功能说明Start 是任务执行的入口，首先必须
转载
2024-04-23 09:49:13
112阅读
Kettle是一款国外开源的ETL工具，纯java编写，可以在Window、Linux、Unix上运行，绿色无需安装，数据抽取高效稳定。 Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。 Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。&
概述Text file input(文本文件输入)步骤从各种文本文件类型读取数据，包括由电子表格和固定宽度的平面文件生成的格式。该步骤的特性允许您从文件或目录列表中读取，使用正则表达式形式的通配符，并接受前面步骤中生成的文件名。选项 文本文件输入 Text file input(文本文件输入)步骤有以下选项：Step name(步骤名称)：在画布上指定Text file input(文本
转载
2024-10-13 18:31:55
0阅读
kettle常用其它组件Kettle转换组件值映射增加序列字段选择Kettle流程控件switch case过滤记录Kettle连接控件笛卡尔积记录集连接 Kettle转换组件转换是ETL的T，T就是Transform清洗、转换ETL三个部分中，T花费时间最长,是“一般情况下这部分工作量是整个ETL的2/3kettle转换组件值映射值映射就是把字段的一个值映射成其他的值在数据质量规范上使用非常多
转载
2024-03-16 09:18:57
84阅读
概述XML input stream (StAX)(XML文件输入(StAX解析))步骤使用XML (StAX)解析器流API从XML文件中读取数据。这一步对于快速处理大型和复杂的数据结构是最理想的。与使用内存处理并需要清除部分文件的从XML文件输入步骤不同，XML文件输入(StAX解析)步骤将处理逻辑转移到转换中。该步骤本身提供了原始XML数据流以及其他处理信息。当您对其他步骤有限制时，或者需要
转载
2024-03-24 08:40:44
906阅读
1.1 基本概念 Kettle 是”Kettle E.T.T.L. Envirnonment”只取首字母的缩写，这意味着它被设计用来帮助你实现你的ETTL 需要：抽取、转换、装入和加载数据；翻译成中文名称应该叫水壶，名字的起源正如该项目的主程序员MATT 在一个论坛里说的哪样：希望把各种数据放到一个壶里然后以一种指定的格式流出。Spoon 是一个图形用户界面，它允许你运行转换或者任务，其中转换是用
转载
2024-06-25 15:11:23
83阅读
kettle笔记(一)-------------------------------------------
前面要说的使用kettle也有一段时间了,kettle的使用解决了生产环境上的很多问题.以前在开发的过程中不懂得总结梳理自己的知识点,吃过很多亏,所以自己会在工作学习中好好梳理自己的知识点,希望也能帮到需要的人.kettle是做什么的kettle是一款开源的数据集成工具,就是我们常说的ET
Kettle 中文名称叫水壶，该项目的主程序员MATT 希望把各种数据放到一个壶里，然后以一种指定的格式流出。Kettle这个ETL工具集，它允许你管理来自不同数据库的数据，通过提供一个图形化的用户环境来描述你想做什么，而不是你想怎么做。Kettle中有两种脚本文件，transformation和job，transformation完成针对数据的基础转换，job则完成整个工作流的控制
目
kettle常见问题(一)作者： gemini5201314 摘要：本文主要介绍使用kettle设计一些ETL任务时一些常见问题，这些问题大部分都不在官方FAQ上，你可以在kettle的论坛上找到一些问题的答案1. Join我得到A 数据流（不管是基于文件或数据库），A包含field1 , field2 , field3 字段，然后我还有一个B数据流，
转载
2024-07-30 22:47:24
122阅读
参照表一个常见的用途就是做数据的查询和检验。提供一个输入字段，如果输入字段里的值没有匹配上，就给对应的数据行做一个错误标志。下面使用城市和邮政编码查询做个例子，演示如何使用计算器步骤和查询步骤来判断地址和邮政编码是否匹配。完整的转换如下图： 首先，需要一些输入数据，本例使用了“自定义常量数据”步骤，并添加一些测试数据作为输入，如下图： 第一个清洗步骤
转载
2024-09-26 19:26:50
206阅读
