大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。【概述】上一章我们讲了 Replica 存在的意义是为了解决数据高可靠和服务高可用问题，kafka 中跟 Replica 跟 ISR 的关系是绕不开的，所以这一章就讲一下 ISR 是什么。【ISR 是什么】首先，ISR 的全称叫做： 
转载
2024-02-08 03:42:33
63阅读
SR and AR简单来说，分区中的所有副本统称为 AR (Assigned Replicas)。所有与leader副本保持一定程度同步的副本（包括leader副本在内）组成 ISR (In Sync Replicas)。 ISR 集合是 AR 集合的一个子集。消息会先发送到leader副本，然后follower副本才能从leader中拉取消息进行同步。同步
转载
2024-05-22 09:31:15
77阅读
大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。【概述】上一节我们知道 ISR 的基本概念，以及为何要设计 ISR 机制；这一节会快速复习一些概念，然后深入到 ISR 的伸缩机制。【基础概念】首先，某分区的所有副本集合叫做 AR。然后其中与 Leader 保持同步的副本（包含 Leader
转载
2024-04-27 23:16:43
81阅读
1. kafka内核原理1.1 ISR机制问题：仅依靠多副本机制能保证Kafka的高可用性，但是能保证数据不丢失吗？不行，因为如果leader宕机，但是leader的数据还没同步到follower上去，此时即使选举了follower作为新的leader，当时刚才的数据已经丢失了。ISR是：in-sync replica，就是跟leader partition保持同步的follower partit
转载
2024-06-28 13:52:32
23阅读
名词解释要想说明白kafka的HA机制，我们必须先搞明白几个缩写名词，1、AR、ISR、OSRAR：Assigned Replicas，某分区的所有副本（这里所说的副本包括leader和follower）统称为 AR。ISR：In Sync Replicas，所有与leader副本保持"一定程度同步"的副本（包括leader副本在内）组成 ISR 。生产者发送消息时，只有leader与客户端发生交
转载
2024-03-22 10:57:30
163阅读
ISR 机制的存在是 kafka 为了平衡可靠性和可用性，不指定提供高可靠或者高可用的服务，而是将决定权交给了使用者，让使用者通过参数来控制，到底要实现什么程度的高可靠与高可用。
原创
2023-10-16 13:38:01
175阅读
在查看topic详细信息的话可以看到有个Isr，一开始不明所以，于是深入去学习了，不看不知道一看吓一跳：首先要引出一个问题，为什么要存在这些东西：在数据同步的时候，如果发生leader死掉，并且重新选举的leader能力不强（数据同步速度慢，数据同步不全面），会造成一群follow跟着一个傻逼leader。造成脏数据。所以我们就要知道哪些副本能力是较强的，同步数据是最快最完整的，在leader发生
转载
2024-06-19 17:01:44
49阅读
前言 在分布式系统中，通常会出现两个角色，master 和 slaver。master通常用于管理集群调度资源。而slaver通负责于数据的存储和传输工作。从而平衡集群负载，提高集群整体的稳定性。kafka的集群管理–controller选举 kafka集群中有多个broker，在集群启动时，各个broker会去zookeeper集群中，注册成controller。这个机制跟hadoo
转载
2024-07-05 23:27:00
58阅读
ISR什么时候收缩ISR什么时候扩展ISR的传播机制Broker宕机之后怎么ISR的收缩？Kafka在启动的时候,会启动一个副本管理器ReplicaManager,这个副本管理器会启动几个定时任务。
原创
2022-05-26 00:42:53
6016阅读
ISR（in-sync
replica） 就是 Kafka 为某个分区维护的一组同步集合，即每个分区都有自己的一个 ISR 集合，处于 ISR 集合中的副本，意味着
follower 副本与 leader 副本保持同步状态，只有处于 ISR 集合中的副本才有资格被选举为 leader。一条 Kafka
消息，只有被 ISR 中的副本都接收到，才被视
转载
2021-06-06 18:31:42
2013阅读
目录总结篇1.官方介绍2.特点3.Kafka的设计4.Kayka的应用场景5.总结 正文系列目录kafka原理和实践（一）原理：10分钟入门kafka原理和实践（二）spring-kafka简单实践kafka原理和实践（三）spring-kafka生产者源码kafka原理和实践（四）spring-kafka消费者源码kafka原理和实践（五）spring-kafka配置详解kafka
转载
2024-06-26 09:55:47
30阅读
目录【ISR是什么】【ISR的作用是什么】【为什么要设计ISR机制】【ISR是什么】首先，ISR的全称叫做： In-Sync Replicas （同步副本集）,我们可以理解为和leader保持同步的所有副本的集合。一个分区的所有副本集合叫做AR（ Assigned Repllicas ）与leader-replica未能保持同步的副本集叫做OSR（ Out-Sync Relipcas ）因此我们就
转载
2024-04-17 09:19:46
25阅读
本文结合在使用Kafka中的使用，和遇到的问题1.Kafka中如何保障发送消息的可靠性？首先我们在创建一个Producer是，可以设置的一些参数如下：1（默认）：这意味着producer在ISR中的leader已成功收到的数据并得到确认后发送下一条message。如果leader宕机了，则会丢失数据。0：这意味着producer无需等待来自broker的确认而继续发送下一批消息。这种情况下数据传输
转载
2024-06-28 19:24:12
36阅读
前言要了解生产者ISR，需要提前了解下生产者重试机制和应答机制生产者重试机制创建生产者时，可以指定retries参数，如果向broker发送消息时抛出异常，并且异常是可重试异常RetriableException，那么此时就会按照指定的次数进行重试1、哪些情况下可以重试（1）没有到delivery超时时间（2）剩余重试次数大于0（3）异常类型为RetriableException或者使用事务管理器
目录副本与ISR设计Follower副本同步ISR设计 副本与ISR设计一个Kafka分区本质就是一个备份日志，即利用多份相同的备份共同提供冗余机制来保持系统高可用性。 这些备份在Kafka中被称为副本(replica)。Kafka把分区的所有副本均匀地分配到所有broker上。 并从这些副本中挑选一个作为leader副本对外提供服务，而其他副本被称为Follower副本，只能被动地向leade
转载
2024-03-19 02:29:49
130阅读
一句话概述：
isr机制通过为维护一个与leader副本保持“同步状态”的集合，保证数据的一致性，提升了同步性能；ack机制与幂等性保证了数据的exactly once。引入isr的原因kafka并未采取Zab和Paxos协议的多数投票机制来来保证主备数据的一致性，而是提出了isr（in-sync- replicas）机制保证数据的一致性。多数投票机制，如果副本数是2f+1,那么最多允许f个副本发
转载
2024-04-22 23:08:13
97阅读
1. 问题Data Replication Kafka 的 Data Replication 需要解决如下问题：怎样 Propagate 消息在向 Producer 发送 ACK 前需要保证有多少个 Replica 已经收到该消息怎样处理某个 Replica 不工作的情况怎样处理 Failed Replica 恢复回来的情况2. Propagate 消息通过zookeeper先知道leader在哪
转载
2024-04-04 19:33:35
66阅读
本文讨论的是假设存在完美无缺的producer和consumer， 从broker角度保障数据可靠的机制。一、名词介绍ISR(In-sync Replication):所有与leader副本保持一定程度同步的副本（包括Leader）,是kafka动态维护的一组同步副本，每当leader挂掉时，在ISR集合中选举出一个follower作为leader提供服务，当ISR中的副本被认为坏掉的时候，会被踢
转载
2024-06-26 15:28:28
125阅读
1. Kafka的用途有哪些？使用场景如何？
总结下来就几个字:异步处理、日常系统解耦、削峰、提速、广播如果再说具体一点例如:消息,网站活动追踪,监测指标,日志聚合,流处理,事件采集,提交日志等
2. Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么
ISR:In-Sync Replicas 副本同步队列AR:Assigned Replicas 所有副本
ISR是由leader维护，
转载
2024-06-25 21:48:40
19阅读
kafka面试问题听过kafka在面试中经常被问到为此整理了20个问题及其答案~Kafka中的ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)又代表什么？ISR:同步队列副本：This is the subset of the replicas list that is currently alive and caught-up to the lead
转载
2024-06-05 05:06:02
67阅读
