1 KafkaConsumer 构造器初始化参数配置。初始化消费者网络客户端ConsumerNetworkClient。初始化消费者协调器ConsumerCoordinator
初始化拉取器Fetcher
2 订阅主题调用订阅方法subscribe()、assign() 会将订阅信息记录到SubscriptionState，多次订阅会覆盖旧数据。如果元数据缓存Metadata 不包含订阅的主题，则
转载
2023-12-28 13:44:32
44阅读
1，消费者代码package com.iflytek.spark.test;
import java.text.MessageFormat;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
import java.util.Properties;
import com.iflytek.spark.
转载
2023-10-01 11:18:36
185阅读
1、
消费者代码 用到
消费者，所以也必须先把前面写过的生产
者代码也贴一下吧 生产
者代码与自定义partition 使用maven导包<dependencies>
<dependency>
<groupId>com.alibaba.jstorm</groupId>
<artifactId
转载
2024-04-07 14:28:23
64阅读
props.put("group.id", "test");
props.put("enable.auto.commit", "false");
props.put("auto.commit.interval.ms", "1000");
props.put("session.timeout.ms", "30000");
props.put("key.deserializer", "org.
转载
2024-07-18 11:18:32
592阅读
kafka java消费者是如何管理TCP连接的何时创建连接创建几个连接何时关闭连接 何时创建连接 根据我以前的文章，我们知道kafka的java生产者在实例已经创建，就创建了TCP连接。生产者的入口类KafkaProducer在构建实例时，会在后台启动Sender线程，这个线程负责Sockert连接的创建。 那java的消费者是什么时候创建的连接呢？是实例创建时吗？并不是，消费者是在调用
转载
2024-06-24 19:01:17
31阅读
自己搭建的过程记录，有任何问题希望提出建议，一定重新改过，在虚拟机环境中首先创建三台虚拟机，我的是192.168.198.128，192.168.198.129，192.168.198.130在这里里首先解释一些必须的命令vim /usr/java/conf 这是打开conf的命令
如果出现以下错误
centos -bash: vim: command not found
标识vim没安装
转载
2024-06-06 17:30:17
46阅读
本文来说下kafka会不会重复消费的问题。在单体架构时代，就存在着接口幂等性的问题，只不过到了分布式、高并发的场景之后，接口幂等性的问题会更加明显。 文章目录概述消息重复消费问题解决方案方案一 / 保存并查询方案二 / 利用幂等方案三 / 设置前置条件幂等性的概念保证幂等性的解决方案唯一索引悲观锁分布式锁全局唯一 ID数据版本号业务状态去重表本文小结 概述如何保证消息不被重复消费？或者说，如何保证
转载
2024-06-20 06:41:53
664阅读
生产者客户端APIProperties props = new Properties();
props.put("bootstrap.servers", "192.168.6.187:9092，192.168.6.188：9092，192.168.6.229：9092");
props.put("acks", "all");
props.put("retries", 0);
props.p
转载
2024-03-17 09:52:40
48阅读
#kafka为什么有高吞吐量1 由于接收数据时可以设置request.required.acks参数，一般设定为1或者0，即生产者发送消息0代表不关心kafka是否接收成功，也就是关闭ack；1代表kafka端leader角色的patation（多个patation，并且每个会有多个副本）接收到数据则返回成功不管副本patation的状态。2 由于消费者的消费情况不归kafka消息管理引擎维护，而
转载
2024-02-17 12:31:47
31阅读
消费者poll消息得过程（poll的意思是从broker拿消息，并不代表拿到就消费成功了）消费者建立了与broker之间的⻓连接，开始poll消息。默认一次poll 500条消息props.put(ConsumerConfig.MAX_POLL_RECORDS_CONFIG, 500 );可以根据消费速度的快慢来设置，因为如果两次poll的时间如果超出了30s的时间间隔，kafka会认为其消费能力
转载
2023-11-28 21:55:41
180阅读
概念入门消费者、消费组消费者： 消费者从订阅的主题topic消费消息，消费消息的偏移量保存在Kafka的名字是__consumer_offsets 的主题中。消费者还可以将⾃⼰的偏移量存储到Zookeeper，需要设置offset.storage=zookeeper。推荐使⽤Kafka存储消费者的偏移量。因为Zookeeper不适合⾼并发。消费组： 多个从同一个主题topic消费消息的消费者，可以
转载
2023-11-09 13:23:58
182阅读
一.消费端丢失消息我们知道消息在被追加到Partition的时候会被分配一个offset。offset表示当前消费的Partition的所在位置，Kafka通过offset可以保证消息在分区内的顺序性。当消费者拉取到分区的某个消息之后，消费者会自动提交offset。但是会出现一个问题：当消费者刚拿到这个消息准备的时候，突然挂掉了，消息实际上没有被消费，但是offset已经被自动提交了。解决方法：关
转载
2024-03-22 09:11:42
112阅读
kafka篇二11、讲一讲 kafka 的 ack 的三种机制12、消费者如何不自动提交偏移量，由应用提交？13、消费者故障，出现活锁问题如何解决？14、如何控制消费的位置15、kafka 分布式（不是单机）的情况下，如何保证消息的顺序消费?16、kafka 的高可用机制是什么？17、kafka 如何减少数据丢失18、kafka 如何不消费重复数据？比如扣款，我们不能重复的扣。 11、讲一讲 k
转载
2024-03-31 09:16:27
134阅读
Kafka有一些重要概念，有一些刚开始学的同学会混淆，还有一部分使用Kafka很久的同学也有可能会忘了。那今天分享一波Kafka的重点概念，让大家对 Kafka有个整体的认识和感知或者重温一下，后面还会详细的解析每一个概念的作用以及更深入的原理。Producer：消息生产者，向 Kafka Broker 发消息的客户端。Consumer：消息消费者，从 Kafka Broker 取消息的客户端。C
转载
2024-04-25 10:48:03
105阅读
1）Producer ：消息生产者，就是向 kafka broker 发消息的客户端； 2）Consumer ：消息消费者，向 kafka broker 取消息的客户端； 3）Consumer Group （CG）：消费者组，由多个 consumer 组成。消费者组内每个消费者负责消费不同分区的数据，一个分区只能由一个组内消费者消费；消费者组之间互不影响。所有的消费者都属于某个消费者组，即消费者
转载
2024-03-05 17:44:54
145阅读
一、kafka在zookeeper中的存储结构producer不在zk中注册，消费者在zk中注册。 二、kafka消费过程分析kafka提供了两套consumer API：高级Consumer Api和低级Api1.高级Api优点：编写简单，不需要自行管理offset，系统通过zookeeper自行管理不需要管理分区，副本等情况，系统自动管理。消费者断线会自动根据上一次记录在z
转载
2023-10-26 19:57:15
60阅读
系列目录kafka原理和实践（一）原理：10分钟入门kafka原理和实践（二）spring-kafka简单实践kafka原理和实践（三）spring-kafka生产者源码kafka原理和实践（四）spring-kafka消费者源码kafka原理和实践（五）spring-kafka配置详解kafka原理和实践（六）总结升华 ==============正文分割线========
转载
2024-04-19 10:55:39
103阅读
温馨提示：整个 Kafka 专栏基于 kafka-2.2.1 版本。1、KafkaConsumer 概述根据 KafkaConsumer 类上的注释上来看 KafkaConsumer 具有如下特征：在 Kafka 中 KafkaConsumer 是线程不安全的。2.2.1 版本的KafkaConsumer 兼容 kafka 0.10.0 和 0.11.0 等低版本。消息偏移量与消费偏移量(消息消费
转载
2024-08-07 10:51:52
126阅读
摘要在这一篇文章中，我将向你介绍消费者的一些参数。这些参数影响了每次poll()请求的数据量，以及等待时间。在这之后，我将向你介绍Kafka用来保证消费者扩展性以及可用性的设计——消费者组。在消费者组的介绍中，我将重点放在了Rebalance的过程上，因为这是一个很重要又经常发生，还会导致消费者组不可用的操作。 1 消费者参数配置对于一个消费者来说，他要做的事情只有一件，那就是使用poll()来拉
转载
2024-05-22 09:53:06
151阅读
一、消费者和消费者群组在 Kafka 中，消费者通常是消费者群组的一部分，多个消费者群组共同读取同一个主题时，彼此之间互不影响。Kafka 之所以要引入消费者群组这个概念是因为 Kafka 消费者经常会做一些高延迟的操作，比如把数据写到数据库或 HDFS ，或者进行耗时的计算，在这些情况下，单个消费者无法跟上数据生成的速度。此时可以增加更多的消费者，让它们分担负载，分别处理部分分区的消息，这就是
转载
2024-02-21 12:12:13
62阅读
