1. 前言Kettle允许我们自定义开发插件以支持实际项目中特殊的流程，关于Kettle插件体系的介绍可以参考链接：http://www.tuicool.com/articles/2YVZFv。这篇文章主要是针对Step插件的开发总结，不涉及开发其他类型插件的介绍。注意Kettle版本为5.x和4.x的插件结构稍有不同，本文针对的Kettle版本为5.x版本。2. 开发总结2.1. Step插件开
转载
2024-05-04 10:49:22
221阅读
原理部分：转换插件开发：kettle转换步骤插件至少需要实现四个接口：org.pentaho.di.trans.step.StepInterface 负责数据处理，转换和流转。这里面主要由processRow()方法来处理。org.pentaho.di.trans.step.StepDataInterface 数据处理设计的具体数据，以及对数据的状态的设置和回收org.pentaho.
转载
2024-01-13 21:03:40
167阅读
Kettle源码下载地址：https://github.com/pentaho/pentaho-kettleKettle软件下载地址：https://sourceforge.net/projects/pentaho/files/Data%20Integrationkettle-plugin源码下载地址：https://gitee.com/nivalsoul/kettlePlugins#%E8%87
一、转换1.表输入 【功能描述】这一步常常用来利用连接和SQL，从数据库中读取信息。自动生成基本的SQL 语句。【操作步骤或操作内容】功能1：指定选项 示例：指定如下SQL语句：SELECT * FROM userinfo WHERE id = 1注：1、日期可以从“获取系统信息”步骤类型中获取。2、在增量抽取过程中一般获取目标表更新时间的最大值作为参数传入
转载
2024-05-30 22:25:14
221阅读
是对经过kettle处理的数据进行向数据库，各种文件的输出。往往是kettle转换的结束部分，也就是加载部分。文本文件输出将数据输出成文本的控件1．设置对应的目录和文件名2．设置合适的扩展名，比如txt，csv等 3．在内容框里设置合适的分隔符，比如分号，逗号，TAB等4．在字段框里获取字段，并且给每个字段设置合适的格。SQL文件输出SQL文件输出一般跟表输入做连接，然后将数据库表的表结构和数据以
转载
2024-04-19 14:01:30
182阅读
此篇说明对应的kettle版本是6.1，实际使用时7.x应该也是一样的。一、 kettle开发流程（规范步骤，防止出错）(一) Kettle设置检查资源库连接如果不加一下配置项，数据转换后中文会出现乱码，很难处理。 本地连接资源库：配置项defaultFet
转载
2023-12-09 14:00:13
142阅读
目录一.Kettle转换组件值映射增加序列二.Kettle流程控件switch case三.Kettle连接控件记录集连接 一.Kettle转换组件转换是ETL的T，T就是Transform清洗、转换 ETL三个部分中，T花费时间最长,是“一般情况下这部分工作量是整个ETL的2/3值映射值映射就是把字段的一个值映射成其他的值 在数据质量规范上使用非常多，比如很多系统对应性别gender字段的定义
转载
2024-05-31 11:38:08
205阅读
Kettle本身提供了很多组件，多个组件一起构成一个transformation（转换），多个转换一起构成一个job（任务）。kettle的组件已经非常丰富，在组件不满足需求时可以在kettle上面开发自己的组件，kettle支持的组件开发如下： Kettle中的插件包含两部分：一是系统本身就已经实现的功能点，在源码目录src中说明，如kettle-steps.xml；二是系统之外开发的
转载
2024-05-24 09:08:10
414阅读
说到ETL开源项目，Kettle当属翘首，因此，偶决定花点时间了解一下。项目名称很有意思，水壶。按项目负责人Matt的说法：把各种数据放到一个壶里，然后呢，以一种你希望的格式流出。呵呵，外国人都很有联想力。看了提供的文档，然后对发布程序的简单试用后，可以很清楚得看到Kettle的四大块：
转载
2024-08-27 17:16:03
29阅读
Kettle是一款国外开源的ETL（Extract-Transform-Load，数据抽取、转换、装载的过程）工具。Kettle现已更名为PDI（Pentaho-Data-Integration）Pentaho数据集成。kettle中文网 Kettle核心组件：Spoon、Pan、CHEF、Kitchen。 SPOON 允许你通过图形界面来设计ETL转换过程（Transformation）。 PA
转载
2023-08-10 16:31:32
605阅读
kettle是一款优秀的开源ETL工具，它本身提供了丰富的组件去做数据库数据抽取、清洗和转换等一些操作，但并不是对所有的情况它都能满足。当kettle本身的组件不满足你的要求时，就需要自己开发一些组件，那么怎么去开发一个组件呢？下面我们来看一下。kettle组件涉及的类 我们说的kettle组件就是一个step，它有四个类构建而成，每个类
转载
2023-09-03 17:02:19
260阅读
众所周知，要想深入的设计和了解一个系统，首先要了解系统的输入输出是什么，系统的输入是所有步骤中最为基础的一步，它是所有业务逻辑实现的前提条件。所以这一节是至关重要的，本小节内容将详细的讲解kettle常用的输入组件。excel输入组件在工作中经常进行处理的文件格式，就是excel文件。所以熟练掌握excel文件的处理是一种必备的技能。但是有时候，需要将excel文件中的表格数据，转化为其他的格式，
转载
2023-11-24 02:54:52
120阅读
kettle常用组件学习总结：1、增加常量组件： 可以用来设置默认值信息数据，作为个常量为后面的步骤使用； 2、获取系统信息组件： 可以用来设置当前的系统信息数据，一般用来获取时
转载
2023-10-18 11:03:40
372阅读
1：空操作
该操作什么都不做，主要作用是，想测试的时候充当一个占位符。
例如：两个文本文件输入，同时连接到流查询步骤中，但是流查询仅仅能从一个流中查询信息，所以可以在同时连接流查询之前，
将两个文本文件输入连接到空操
转载
2024-08-14 13:13:10
40阅读
最近正好做了有关Kettle中插件开发的工作，对Kettle插件的源码进行了一定的研究，并开发了自定义的插件，在此有些感悟，记录下来。一 Kettle插件概述 Kettle的开发体系是基于插件的，平台本身提供了接口，开发者按照相关规范就可以开发出相应的插件添加到Kettle中使用，感觉这个体系设计思路很不错，非常有利于Kettle后续的扩展。 初次接触Kettle插件开发可以参考GitHub上有关
转载
2024-03-31 07:51:58
275阅读
目录前言：一、更新组件介绍1.1界面1.2废话介绍1.3重点解释二、应用案例2.1转换效果2.2转换简介三、总结前言： 前面我们通过oracle的索引来处理单表超1亿的数据量表的查询问题，通过针对主键，展示的维度做多套索引，来提高查询和展现速度。通过在数据源增加索引来提高数据处理时，查询数据源的时间，如增加主键id的索引，通过判断上次插入更新
转载
2023-10-13 20:10:14
115阅读
在我们做ETL工作的时候，在某些项目中往往会遇到一些特别的流程任务，kettle原有的流程处理节点已经不能满足我们的要求，这时候我们就需要定制流程处理节点了。定制流程节点主要是针对数据的管理、数据的验证和某些特别文件数据的提取。大家通过查看kettle源代码，就可以知道怎样去创建你自己的kettle插件了。 这篇文章主要告诉大家在kettle 4.0版本上怎样开发一个transforma
转载
2023-11-01 17:54:56
204阅读
搁这儿说说“Kettle Redis 组件”吧，这可是处理大数据时常常会碰到的一个小麻烦。假设你急需从Redis提取一些数据，这个过程中就可能会出现各种各样的问题。这篇文章就是为了解决这些常见的坑儿而准备的，毕竟“前车之鉴”嘛，咱们不能再掉进同样的井里。
## 背景定位
在大数据处理的场景下，我们往往需要从各种数据源中提取、转换然后加载（ETL）数据。Kettle 作为一种开源的 ETL 工具
# 如何实现 Kettle 的 Java 组件
Kettle，也被称为 Pentaho Data Integration (PDI)，是一个广泛使用的 ETL (Extract, Transform, Load) 工具。Kettle 允许用户通过图形界面轻松地处理数据，但在某些情况下，你可能需要通过 Java 组件来实现更复杂的逻辑。本文将为你详细介绍如何实现 Kettle 的 Java 组件，
简介 Pentaho是一个以工作流为核心的、强调面向解决方案的开源商业智能（Business Intelligence, BI）套件，以构成全面的数据集成和业务分析平台。这些套件各自为独立产品，之间为松耦合可插拔式设计，用户可根据自身需求进行灵活选择。Kettle是Pentaho整个产品体系中的数据集成模块，使用突破性的元数据驱动方法提供强大的“提取，转换和加载（ETL）”功能。主要使
转载
2024-08-16 11:57:46
96阅读
