前言：前几天尝试编写了一个简单的Kettle自定义Step插件，但是有一个很大的问题：之前的插件是通过用户输入字段的下标来确定哪些列需要进行字符替换，而非字段名，因此我看了下Kettle中提供的插件的源代码，找到了获取字段属性的方法，在此记录一下。开发环境：开发工具:IntelliJ IDEA 2020.1开发环境:JDK1.8、Maven-3.6.3Kettle版本:8.3.0.0-371Ket
一，理解开发环境与生产环境。比如，在windows或mac下设计好流程之后，把该设计文件上传到linux集群的机器上执行。那么，在windows下进行的工作即为开发环境，任务具体在linxu机器上执行即为生产环境。 二，Kettle转换转换包括一个或多个步骤，步骤之间通过跳(hop)来连接。跳定义了一个单向通道，允许数据从一个步骤流向另一个步骤。在Kettle中，数据的单位是行，数据流就
转载
2024-10-29 13:26:40
104阅读
kettle和NIFI都是大数据工具，不过前者是CS架构，只能在本地客户端开发好job之后，把包部署出去，后者却能在BS架构下通过浏览器页面随时调整流程。但是这些都是只是表面。在网上也有对于二者的比较，说的到点的能说到二者对于实时性数据的支持上差异比较大，kettle几乎不支持实时性。本文详细说下这种差异导致的不同使用场景和内部原因。一、适用场景kettle:需要通过定时任务的方式，从不同的数据源
转载
2024-05-14 06:19:20
175阅读
最近正好做了有关Kettle中插件开发的工作，对Kettle插件的源码进行了一定的研究，并开发了自定义的插件，在此有些感悟，记录下来。一 Kettle插件概述 Kettle的开发体系是基于插件的，平台本身提供了接口，开发者按照相关规范就可以开发出相应的插件添加到Kettle中使用，感觉这个体系设计思路很不错，非常有利于Kettle后续的扩展。 初次接触Kettle插件开发可以参考GitHub上有关
转载
2024-03-31 07:51:58
275阅读
今天把 Kafka Producer 最后一部分给讲述一下，Producer 大部分内容都已经在前面几篇文章介绍过了，这里简单做个收尾，但并不是对前面的总结，本文从两块来讲述：RecordAccumulator 类的实现、Kafka Producer 如何保证其顺序性以及 Kafka Producer 的配置说明，每个 Producer 线程都会有一个 RecordAccumulator 对象，它
转载
2024-04-19 08:53:09
202阅读
Kafka Producer相关代码分析标签（空格分隔）： kafkaKafka Producer将用户的消息发送到Kafka集群（准确讲是发送到Broker）。本文将分析Producer相关的代码实现。 类kafka.producer.Producer如果你自己实现Kafka客户端来发送消息的话，你就是用到这个类提供的接口来发送消息。（如果你对如何利用Producer API来发送消息还不是很
转载
2024-06-11 01:24:37
57阅读
Kafka-之Producer生产者（含拦截器、分区器、序列化器及异步消息发送模式）Kafka生产者是整个Kafka架构中的一个角色，可以是不同集成了Kafka的组件，KafkaProducer是线程安全的，可以同时给多个线程使用。1 如何构建一个KafkaProducer构建一个KafkaProducer的构造方法有2种：//首先配置Producer必要配置
Properties propert
转载
2024-03-19 02:55:10
60阅读
Excel输入：读取excel文件，注意这里有两种excel的版本xls,xlsc，这两种不同的格式要选择不同的检索引擎。Excel输入：将数据写出到excel文件中。文本文件输出：将读取的内容输出到文本文件中。设置变量：将读取到的内容设置成一个变量。只能获取一个变量值。生产记录：可以生成一些随机数什么的。映射：类似于将1转成男，0转成女的操作。javascript代码：嵌入js代码。HttpCl
转载
2024-04-16 17:00:55
50阅读
ETL工具kettle实现数据同步摘要:这次记录是因为前段时间公司新开的项目,新建了一个数据库,有部分数据在新的项目中用的到,需要从原来的数据库中同步过来,原来的做法是在项目中使用task定时任务来定时从原来的数据库中拉取数据,但是在一个项目中实现跨数据源是一个很烦凡人的事请而且代码实现方式效率不高还可能遇到其他一些问题:比如项目挂了那你的定时任务自然也挂挂了,后台项目组长让使用ETL工具实现同步
Producer幂等性在 Kafka 中，Producer 默认不是幂等性的，但我们可以创建幂等性 Producer。它其实是 0.11.0.0 版本引入的新功能。在此之前，Kafka 向分区发送数据时，可能会出现同一条消息被发送了多次，导致消息重复的情况。在 0.11 之后，指定 Producer 幂等性的方法很简单，仅需要设置一个参数即可，即 props.put(“enable.idempot
转载
2024-03-28 04:21:29
130阅读
1. 发送消息流程1.1 整体架构整个生产者客户端由两个线程协调运行，这两个线程分别为主线程和 Sender 线程（发送线程）。在主线程中由 KafkaProducer 创建消息，然后通过可能的拦截器、序列化器和分区器的作用之后缓存到消息累加器（RecordAccumulator，也称为消息收集器）中。Sender 线程负责从 RecordAccumulator 中获取消息并将其发送到 Kafka
转载
2024-05-17 08:28:06
56阅读
数据可靠性保证为保证producer发送的数据，能可靠的发送到指定的topic，topic的每个partition收到producer发送的数据后，都需要向producer发送ack（acknowledgement确认收到），如果producer收到ack，就会进行下一轮的发送，否则重新发送数据。副本数据同步策略方案优点缺点半数以上完成同步，就发送ack延迟低选举新的 leader 时，容忍 n
转载
2024-04-03 08:45:04
63阅读
acks（默认值为1） 在消息被认为是“已提交”之前，producer需要leader确认请求的应答数。该参数用于控制消息的持久性，目前提供了3个取值： acks = 0： 表示producer请求立即返回，不需
转载
2024-04-25 15:14:35
52阅读
本节目录1、KafkaProducer 概述2、KafkaProducer 类图3、KafkaProducer 简单示例 1、KafkaProducer 概述根据 KafkaProducer 类上的注释上来看 KafkaProducer 具有如下特征：KafkaProducer 是线程安全的，可以被多个线程交叉使用。KafkaProducer 内部包含一个缓存池，存放待发送消息，即 Produc
转载
2024-06-03 11:17:44
28阅读
一、场景分析
上一篇分析了客户端如何将消息发送给服务端，当封装的请求发送出去后，有两种结果：
服务端收到请求，并返回响应。响应也有两种情况：
正常写入消息，返回正常的响应发生异常，返回异常的响应服务端未返回响应，直到超时 针对上面的几种情况，Kafka客户端是如何处理的
转载
2024-05-08 22:34:16
326阅读
1. 定义要发送的消息User POJO 2. 定义序列化User POJO序列化器 此序列化器使用了org.codehaus.jackson.jackson-mapper-asl.jar来进行序列化为jason 3. 定义partitioner 4. 定义发送的消息统计拦截器 5. Produce
转载
2019-01-25 18:28:00
292阅读
2评论
producer接口： /** * Licensed to the Apache Software Foundation (ASF) under one or more * contributor license agreements. See the NOTICE file distributed
转载
2016-11-04 18:03:00
200阅读
2评论
上一篇文章我们主要介绍了什么是 Kafka，Kafka 的基本概念是什么，Kafka 单机和集群版的搭建，以及对基本的配置文件进行了大致的介绍，还对 Kafka 的几个主要角色进行了描述，我们知道，不管是把 Kafka 用作消息队列、消息总线还是数据存储平台来使用，最终是绕不过 这个词的，这也是 K
转载
2021-08-12 11:36:02
762阅读
一、Kafka核心API下图是官方文档中的一个图，形象的描述了能与Kafka集成的客户端类型!(https://s2.51cto.com/images/blog/202210/12181916_634694a46309121649.png?xossprocess=image/watermark,size_14,text_QDUxQ1RP5Y2a5a6i,color_FFFFFF,t_100,g_s
原创
2022-10-12 18:22:26
392阅读
KafkaProducerBlockingPoint:max.block.ms:maxtimetowaitforthewholekafka.sendmethod,althoughkafka.sendisasynchronous,thereareseveralsynchronous/blockingoperationswithinthemethod:max.block.msincludes:Meta
原创
2020-10-21 19:17:06
764阅读
