本文讨论的是假设存在完美无缺的producer和consumer， 从broker角度保障数据可靠的机制。一、名词介绍ISR(In-sync Replication):所有与leader副本保持一定程度同步的副本（包括Leader）,是kafka动态维护的一组同步副本，每当leader挂掉时，在ISR集合中选举出一个follower作为leader提供服务，当ISR中的副本被认为坏掉的时候，会被踢
转载
2024-06-26 15:28:28
125阅读
目录副本与ISR设计Follower副本同步ISR设计 副本与ISR设计一个Kafka分区本质就是一个备份日志，即利用多份相同的备份共同提供冗余机制来保持系统高可用性。 这些备份在Kafka中被称为副本(replica)。Kafka把分区的所有副本均匀地分配到所有broker上。 并从这些副本中挑选一个作为leader副本对外提供服务，而其他副本被称为Follower副本，只能被动地向leade
转载
2024-03-19 02:29:49
130阅读
kafka面试问题听过kafka在面试中经常被问到为此整理了20个问题及其答案~Kafka中的ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)又代表什么？ISR:同步队列副本：This is the subset of the replicas list that is currently alive and caught-up to the lead
转载
2024-06-05 05:06:02
67阅读
问题如下：
kafka 为了保证数据的一致性使用了isr 机制
1 首先我们知道kafka 的数据是多副本的，每个topic 下的每个分区下都有一个leader 和多个follower，
2 每个follower 的数据都是同步leader的 这里需要注意 是follower 主动拉取leader 的数据
注意问题：follewer 只是数据的
转载
2024-03-18 00:01:59
37阅读
目录【ISR是什么】【ISR的作用是什么】【为什么要设计ISR机制】【ISR是什么】首先，ISR的全称叫做： In-Sync Replicas （同步副本集）,我们可以理解为和leader保持同步的所有副本的集合。一个分区的所有副本集合叫做AR（ Assigned Repllicas ）与leader-replica未能保持同步的副本集叫做OSR（ Out-Sync Relipcas ）因此我们就
转载
2024-04-17 09:19:46
25阅读
本文结合在使用Kafka中的使用，和遇到的问题1.Kafka中如何保障发送消息的可靠性？首先我们在创建一个Producer是，可以设置的一些参数如下：1（默认）：这意味着producer在ISR中的leader已成功收到的数据并得到确认后发送下一条message。如果leader宕机了，则会丢失数据。0：这意味着producer无需等待来自broker的确认而继续发送下一批消息。这种情况下数据传输
转载
2024-06-28 19:24:12
36阅读
前言要了解生产者ISR，需要提前了解下生产者重试机制和应答机制生产者重试机制创建生产者时，可以指定retries参数，如果向broker发送消息时抛出异常，并且异常是可重试异常RetriableException，那么此时就会按照指定的次数进行重试1、哪些情况下可以重试（1）没有到delivery超时时间（2）剩余重试次数大于0（3）异常类型为RetriableException或者使用事务管理器
大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。【概述】上一章我们讲了 Replica 存在的意义是为了解决数据高可靠和服务高可用问题，kafka 中跟 Replica 跟 ISR 的关系是绕不开的，所以这一章就讲一下 ISR 是什么。【ISR 是什么】首先，ISR 的全称叫做： 
转载
2024-02-08 03:42:33
63阅读
一句话概述：
isr机制通过为维护一个与leader副本保持“同步状态”的集合，保证数据的一致性，提升了同步性能；ack机制与幂等性保证了数据的exactly once。引入isr的原因kafka并未采取Zab和Paxos协议的多数投票机制来来保证主备数据的一致性，而是提出了isr（in-sync- replicas）机制保证数据的一致性。多数投票机制，如果副本数是2f+1,那么最多允许f个副本发
转载
2024-04-22 23:08:13
97阅读
1. 问题Data Replication Kafka 的 Data Replication 需要解决如下问题：怎样 Propagate 消息在向 Producer 发送 ACK 前需要保证有多少个 Replica 已经收到该消息怎样处理某个 Replica 不工作的情况怎样处理 Failed Replica 恢复回来的情况2. Propagate 消息通过zookeeper先知道leader在哪
转载
2024-04-04 19:33:35
66阅读
1. Kafka的用途有哪些？使用场景如何？
总结下来就几个字:异步处理、日常系统解耦、削峰、提速、广播如果再说具体一点例如:消息,网站活动追踪,监测指标,日志聚合,流处理,事件采集,提交日志等
2. Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么
ISR:In-Sync Replicas 副本同步队列AR:Assigned Replicas 所有副本
ISR是由leader维护，
转载
2024-06-25 21:48:40
19阅读
目录 1. kafka内核原理1.1、ISR机制1.2 HW&LEO原理（1）LEO（2）HW（3）更新LEO的机制（4）更新HW的机制（5）LEO、HW更新逻辑的顺序2. producer相关2.1 producer消息发送原理（核心流程） 2.2、 producer核心参数（1）常见异常处理（2）提升消息吞吐量（3）请求超时（4）ACK参数（5）重试乱序3
转载
2024-09-02 19:34:01
26阅读
SR and AR简单来说，分区中的所有副本统称为 AR (Assigned Replicas)。所有与leader副本保持一定程度同步的副本（包括leader副本在内）组成 ISR (In Sync Replicas)。 ISR 集合是 AR 集合的一个子集。消息会先发送到leader副本，然后follower副本才能从leader中拉取消息进行同步。同步
转载
2024-05-22 09:31:15
77阅读
1、kafka中的ISR、AR又代表什么？ISR伸缩又是什么？分区中的所有副本统称为AR（Assigned Repllicas）。所有与leader副本保持一定程度同步的副本（包括Leader）组成ISR（In-Sync Replicas），ISR集合是AR集合中的一个子集。消息会先发送到leader副本，然后follower副本才能从leader副本中拉取消息进行同步，同步期间内follower
转载
2024-05-21 16:35:07
113阅读
锁屏面试题百日百刷，每个工作日坚持更新面试题。请看到最后就能获取你想要的,接下来的是今日的面试题：1.解释一下，在数据制作过程中，你如何能从Kafka得到准确的信息？在数据中，为了精确地获得Kafka的消息，你必须遵循两件事: 在数据消耗期间避免重复，在数据生产过程中避免重复。这里有两种方法，可以在数据生成时准确地获得一个语义:每个分区使用一个单独的写入器，每当你发现一个网络错误，检查该
一、ISR 是什么首先，ISR 的全称叫做： In-Sync Replicas （同步副本集）, 我们可以理解为和 leader 保持同步的所有副本的集合。 一个分区的所有副本集合叫做 AR（ Assigned Repllicas ） 与 leader-replica 未能保持同步的副本集叫做 OSR（ Out-Sync Relipcas ） 因此我们就能得到这么一个表示：AR = ISR + O
转载
2024-04-08 23:07:30
88阅读
一、推拉模式和基本设计消息队列通常有两种消息获取模式：pull（拉）模式：consumer采用从broker中主动拉取数据，不足之处是如果没有数据，消费者可能会陷入循环中，一直返回空数据。push（推）模式：由broker主动向消费者主动推送消息，缺点是由broker决定消息发送速率，很难适应所有消费者的消费速率。Kafka采用 pull（拉）模式！！！基本设计：消费者组内每个消费者负责消费不同分
转载
2024-03-21 11:20:14
59阅读
除了读写副本、管理分区和副本的功能之外，副本管理器还有一个重要的功能，那就是管理 ISR。这里的管理主要体现在两个方法：maybeShrinkIsr 方法：作用是阶段性地查看 ISR 中的副本集合是否需要收缩；收缩是指，把 ISR 副本集合中那些与 Leader 差距过大的副本移除的过程。所谓的差距过大，就是 ISR 中 Follower 副
转载
2024-05-17 03:08:47
177阅读
一、ISR 是什么首先，ISR 的全称叫做： In-Sync Replicas （同步副本集）, 我们可以理解为和 leader 保持同步的所有副本的集合。 一个分区的所有副本集合叫做 AR（ Assigned Repllicas ） 与 leader-replica 未能保持同步的副本集叫做 OSR（ Out-Sync Relipcas ） 因此我们就能得到这么一个表示：AR = ISR + O
转载
2024-04-08 23:05:30
53阅读
1. kafka内核原理1.1 ISR机制问题：仅依靠多副本机制能保证Kafka的高可用性，但是能保证数据不丢失吗？不行，因为如果leader宕机，但是leader的数据还没同步到follower上去，此时即使选举了follower作为新的leader，当时刚才的数据已经丢失了。ISR是：in-sync replica，就是跟leader partition保持同步的follower partit
转载
2024-06-28 13:52:32
23阅读
