集群上所有的 Broker 都在实时监听 ZooKeeper 上的 /controller 节点。我们先看看KafkaController 类class KafkaController(val config: KafkaConfig, // config：Kafka配置信息，通过它，你能拿到Broker端所有参数的值
zkClient: KafkaZkC
转载
2024-10-18 12:01:53
85阅读
Kafka的事务是什么生产者往多个topic里面写消息，要么同时成功，要么同时失败。为什么需要事务消息系统有3种语义：最多一次最少一次精确一次。Exactly Only Once为了实现精确一次的语义，Kafka必须引入事务。如下图：本应用从上游topic消费消息，处理后发到下游topic，同时将处理进度发送到__consumer_offsetstopic里面进行保存，对这两个topic的写，是一
转载
2024-02-08 14:49:00
62阅读
1.副本截断和 epoch 的关系 每个副本都会在本地定期生成一个 leader-epoch-checkpoint 文件，用于保存集群 leader 的 epoch 信息： 直接打开可以发现主从节点epoch文件： Leader Epoch: 32位，单调递增的数字。代表单个分区所处的leader时代。每发生一次leader转换，就+1。例如leader epoch =2，说明处于第二
转载
2024-05-17 13:34:44
100阅读
What’s LeaderEpochCache?每个log（一个log有1到多个segment）都有一个记录了leaderEpoch和其startOffset的文件：leader-epoch-checkpointlog在初始化的时候，会从文件系统加载各种元数据信息，其中一项就是读取leader-epoch-checkpoint文件，建立leaderEpochCache，cache其实就是epoch
转载
2024-03-03 20:29:01
295阅读
kafka新版本为了解决HW&LEO的同步机制更新缺陷，引入了Epoch的概念。 Leader epoch 分两部分组成:Epoch : 版本号。每当副本领导权发生变更时，都会增加该版本号。小版本号的 Leader 被认为是过期 Leader，不能再行使 Leader 权力。起始位移(Start Offset)。Leader 副本在该 Epoch 值上写入的首条消息的位移。Leader e
原创
2022-09-16 18:47:31
132阅读
HW存在的意义：（为了保持副本间可消费数据一致的标记）保证多个副本之间的数据一致，否则因为同步的延迟的问题会出现多个副本间数据不一致的问题。如果Leader重新选举，对于消费者来说还会出现跳跃消费数据，丢失数据的情况 保证当出现Leader切换后，能够消费的数据一致HW存在的基础：LEO 日志末端位移，表示日志末端下一条数据的位移，如果它的值为10那么分区中存在0~9 10条数据，下一条的位移量是
转载
2024-05-31 04:10:33
30阅读
相关名词LEO:每个分区中最后一条消息的下一个位置（offset），分区的每个副本都有自己的LEOHW(high watermarker:高水位线):核心思想为所有HW之前的数据都是已经备份的，当所有节点都备份成功，Leader会更新HW。ISR(in-sync-replicas):正在同步的副本集合，一个时间范围，例如10s内，改时间范围通过replica.lag.time.max.ms控制副本
转载
2024-04-08 13:30:35
55阅读
1. 高水位1.1 高水位的作用在Kafka中，高水位的作用主要有两个定义消息可见性，即用来标识分区下的哪些消息是可以被消费者消费的。帮助Kafka完成副本同步下面这张图展示了多个与高水位相关的 Kafka 术语。假设这是某个分区 Leader 副本的高水位图。首先，请注意图中的“已提交消息”和“未提交消息”。之前在讲到 Kafka 持久性保障的时候，特意对两者进行了区分。现在，再次强调一下。在分
转载
2024-05-22 09:45:29
58阅读
目录集群元数据 ControllerContext ControllerStats shuttingDownBrokerIds epoch &a
转载
2024-07-30 18:59:51
58阅读
概述Kafka使用HW值来决定副本备份的进度，而HW值的更新通常需要额外一轮FETCH RPC才能完成，故而这种设计是有问题的。它们可能引起的问题包括：备份数据丢失备份数据不一致 Kafka 0.11版本之后引入了leader epoch来取代HW值。Leader端多开辟一段内存区域专门保存leader的epoch信息，这样即使出现上面的两个场景也能很好地规避这些问题。EpochEntr
转载
2024-03-26 08:33:16
75阅读
Kafka 消息框架，大家一定不陌生，很多人工作中都有接触。它的核心思路，通过一个高性能的MQ服务来连接生产和消费两个系统，达到系统间的解耦，有很强的扩展性。你可能会有疑问，如果中间某一个环节断掉了，那怎么办？这种情况，我们称之为消息丢失，会造成系统间的数据不一致。那如何解决这个问题？需要从生产端、MQ服务端、消费端，三个维度来处理1、生产端生产端的职责就是，确保生产的消息能到达MQ服务端，这里我
本地LEO和Remote LEOKafka分区的follower副本的LEO属性保存了两份：本地LEO：在follower副本所在broker的缓存中保存一份Remote LEO：在leader副本所在的broker的缓存中保存一份（Remote LEO）本地LEO很简单，就是follower本地日志文件的LEO，即它向leader发送FETCH请求得到结果后写入log文件时，该LEO增加。Rem
转载
2024-03-05 12:35:08
69阅读
在启动Kafka集群的时候，每个代理都会实例化并启动一个KafkaController，并将该代理的brokerId注册到Zookeeper的相应的节点当中。Kafka集群中各代理会根据选举机制选出其中一个代理作为Leader,即Leader控制器。作用： 负责Topic的创建与删除，分区和副本的管理以及代理故障转移的功能等。程序入口： Kafka核心core工程下kafka.controller
转载
2024-03-28 19:33:05
138阅读
目录一、什么是Kafka？二、Kafka的使用场景三、kafka系统架构四、Kafka高性能1 批量发送消息2 持久化消息-顺序写3 基于索引文件的查询4 零拷贝五、Kafka高可靠1 消息备份2 ISR & LEO & HW3 Acks六、MAC本地安装Kafka1 安装2 启动kafka服务3 创建Topic，显示数据 本文主要介绍Kafka架构、高性能、高可用以及m
转载
2024-04-18 17:35:54
599阅读
因此，如果需要保证主题内或跨主题的顺序性，需要在生产者和消费者端进行额外的处理，例如使用同一个分区键或同一个消费组。生产者消费者在消费 Kafka 消息时，需要维护一
转载
2024-02-26 10:28:46
110阅读
Kafka是什么？Kafka是一个分布式基于发布、订阅模式的消息队列。 什么？不懂？没问题，我慢慢讲给你听先了解一下kafka内容： 1、消息、生产者、消费者 2、主题、分区 3、broker、集群1、为什么要使用kafka：因为如果不通过一个管道来传输消息时，生产者直接推送给消费者消息会导致推送，会很杂乱，消费者接收能力也有限，并且耦合性非常高，迁一而发动全身，而Kafka就是这样的一个管道邮箱
转载
2024-03-28 13:43:46
31阅读
kafka官方介绍是分布式的流处理平台，理解上比较难。先简单理解为一种分布式的支持发布订阅的高可用消息队列 kafka通过topic(主题) 对数据分类，每条记录包含：一个key，一个value，一个时间戳 核心概念：一串流的记录topic，一个topic可以有一个或者多个消费者来订阅 topic数
原创
2021-09-24 13:00:48
258阅读
一、Kafka通俗易懂的简介1.1、apache Kafka概要介绍 Kafka是最初由Linkedin公司开发，使用Scala语言编写。Kafka是一个分布式、分区的、多副本的、多订阅者的日志系统(分布式MQ系统)，可以用于web/nginx日志，搜索日志，监控日志，访问日志等等。kafka目前支持多种客户端语言：java，python，c++，php等等。1.2、kafka总体架构kafka名
转载
2024-02-26 09:02:33
19阅读
在 Kafka 集群中会有一个或多个 broker，其中有一个 broker 会被选举为控制器（ Kafka Controller ），它负责管理整个集群中所有分区和副本的状态。当某个分区的 leader 副本出现故障时，由控制器负责为该分区选举新的 leader 副本。当检测到某个分区的 ISR 集合发生变化时，由控制器负责通知所有 broker 更新其元数据信息。当使用 kafka - t
转载
2023-09-18 10:12:40
197阅读
探讨kafka的分区数与多线程消费
原创
2023-04-12 02:16:02
35阅读
