1. kafka内核原理1.1 ISR机制问题：仅依靠多副本机制能保证Kafka的高可用性，但是能保证数据不丢失吗？不行，因为如果leader宕机，但是leader的数据还没同步到follower上去，此时即使选举了follower作为新的leader，当时刚才的数据已经丢失了。ISR是：in-sync replica，就是跟leader partition保持同步的follower partit
转载
2024-06-28 13:52:32
23阅读
目录【ISR是什么】【ISR的作用是什么】【为什么要设计ISR机制】【ISR是什么】首先，ISR的全称叫做： In-Sync Replicas （同步副本集）,我们可以理解为和leader保持同步的所有副本的集合。一个分区的所有副本集合叫做AR（ Assigned Repllicas ）与leader-replica未能保持同步的副本集叫做OSR（ Out-Sync Relipcas ）因此我们就
转载
2024-04-17 09:19:46
25阅读
本文结合在使用Kafka中的使用，和遇到的问题1.Kafka中如何保障发送消息的可靠性？首先我们在创建一个Producer是，可以设置的一些参数如下：1（默认）：这意味着producer在ISR中的leader已成功收到的数据并得到确认后发送下一条message。如果leader宕机了，则会丢失数据。0：这意味着producer无需等待来自broker的确认而继续发送下一批消息。这种情况下数据传输
转载
2024-06-28 19:24:12
36阅读
大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。【概述】上一章我们讲了 Replica 存在的意义是为了解决数据高可靠和服务高可用问题，kafka 中跟 Replica 跟 ISR 的关系是绕不开的，所以这一章就讲一下 ISR 是什么。【ISR 是什么】首先，ISR 的全称叫做： 
转载
2024-02-08 03:42:33
63阅读
1. 问题Data Replication Kafka 的 Data Replication 需要解决如下问题：怎样 Propagate 消息在向 Producer 发送 ACK 前需要保证有多少个 Replica 已经收到该消息怎样处理某个 Replica 不工作的情况怎样处理 Failed Replica 恢复回来的情况2. Propagate 消息通过zookeeper先知道leader在哪
转载
2024-04-04 19:33:35
66阅读
最近在搞Kafka集群监控，之前也是看了网上的很多资料。之所以使用jmxtrans+influxdb+grafana是因为界面酷炫，可以定制化，缺点是不能操作Kafka集群，可能需要配合Kafka Manager一起使用。环境信息CentOS Linux release 7.6.1810 (Core)jdk1.8.0_201zookeeper-3.4.14kafka_2.11-2.2.0开启Kaf
转载
2024-03-26 09:27:00
195阅读
SR and AR简单来说，分区中的所有副本统称为 AR (Assigned Replicas)。所有与leader副本保持一定程度同步的副本（包括leader副本在内）组成 ISR (In Sync Replicas)。 ISR 集合是 AR 集合的一个子集。消息会先发送到leader副本，然后follower副本才能从leader中拉取消息进行同步。同步
转载
2024-05-22 09:31:15
77阅读
1. Kafka的用途有哪些？使用场景如何？
总结下来就几个字:异步处理、日常系统解耦、削峰、提速、广播如果再说具体一点例如:消息,网站活动追踪,监测指标,日志聚合,流处理,事件采集,提交日志等
2. Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么
ISR:In-Sync Replicas 副本同步队列AR:Assigned Replicas 所有副本
ISR是由leader维护，
转载
2024-06-25 21:48:40
19阅读
kafka面试问题听过kafka在面试中经常被问到为此整理了20个问题及其答案~Kafka中的ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)又代表什么？ISR:同步队列副本：This is the subset of the replicas list that is currently alive and caught-up to the lead
转载
2024-06-05 05:06:02
67阅读
1、kafka中的ISR、AR又代表什么？ISR伸缩又是什么？分区中的所有副本统称为AR（Assigned Repllicas）。所有与leader副本保持一定程度同步的副本（包括Leader）组成ISR（In-Sync Replicas），ISR集合是AR集合中的一个子集。消息会先发送到leader副本，然后follower副本才能从leader副本中拉取消息进行同步，同步期间内follower
转载
2024-05-21 16:35:07
123阅读
kafka--producer参数详解主要介绍下kafka的producer配置参数，只取了其中的一部分常用的，后续的有时间，也会补充一些，更多的详细参数，可以参考《kafka官网》，参数的内容，主要是选取《apache kafka实战》书中的一些讲解和官网相互参看bootstrap.servers该参数指定了一组host:port 对，用于创建向 Kafka broker 服务器的连接，比如:k
转载
2024-03-26 10:30:56
69阅读
一句话概述：
isr机制通过为维护一个与leader副本保持“同步状态”的集合，保证数据的一致性，提升了同步性能；ack机制与幂等性保证了数据的exactly once。引入isr的原因kafka并未采取Zab和Paxos协议的多数投票机制来来保证主备数据的一致性，而是提出了isr（in-sync- replicas）机制保证数据的一致性。多数投票机制，如果副本数是2f+1,那么最多允许f个副本发
转载
2024-04-22 23:08:13
97阅读
目录副本与ISR设计Follower副本同步ISR设计 副本与ISR设计一个Kafka分区本质就是一个备份日志，即利用多份相同的备份共同提供冗余机制来保持系统高可用性。 这些备份在Kafka中被称为副本(replica)。Kafka把分区的所有副本均匀地分配到所有broker上。 并从这些副本中挑选一个作为leader副本对外提供服务，而其他副本被称为Follower副本，只能被动地向leade
转载
2024-03-19 02:29:49
130阅读
前言要了解生产者ISR，需要提前了解下生产者重试机制和应答机制生产者重试机制创建生产者时，可以指定retries参数，如果向broker发送消息时抛出异常，并且异常是可重试异常RetriableException，那么此时就会按照指定的次数进行重试1、哪些情况下可以重试（1）没有到delivery超时时间（2）剩余重试次数大于0（3）异常类型为RetriableException或者使用事务管理器
本文讨论的是假设存在完美无缺的producer和consumer， 从broker角度保障数据可靠的机制。一、名词介绍ISR(In-sync Replication):所有与leader副本保持一定程度同步的副本（包括Leader）,是kafka动态维护的一组同步副本，每当leader挂掉时，在ISR集合中选举出一个follower作为leader提供服务，当ISR中的副本被认为坏掉的时候，会被踢
转载
2024-06-26 15:28:28
125阅读
一、ISR 是什么首先，ISR 的全称叫做： In-Sync Replicas （同步副本集）, 我们可以理解为和 leader 保持同步的所有副本的集合。 一个分区的所有副本集合叫做 AR（ Assigned Repllicas ） 与 leader-replica 未能保持同步的副本集叫做 OSR（ Out-Sync Relipcas ） 因此我们就能得到这么一个表示：AR = ISR + O
转载
2024-04-08 23:07:30
88阅读
一、ISR 是什么首先，ISR 的全称叫做： In-Sync Replicas （同步副本集）, 我们可以理解为和 leader 保持同步的所有副本的集合。 一个分区的所有副本集合叫做 AR（ Assigned Repllicas ） 与 leader-replica 未能保持同步的副本集叫做 OSR（ Out-Sync Relipcas ） 因此我们就能得到这么一个表示：AR = ISR + O
转载
2024-04-08 23:05:30
53阅读
首选介绍几个名词： ISR:一个Partition中的Leader的所有follower（replication）集合。 AR：分配给此Partition的所有rep
转载
2024-09-10 22:34:19
240阅读
名词解释要想说明白kafka的HA机制，我们必须先搞明白几个缩写名词，1、AR、ISR、OSRAR：Assigned Replicas，某分区的所有副本（这里所说的副本包括leader和follower）统称为 AR。ISR：In Sync Replicas，所有与leader副本保持"一定程度同步"的副本（包括leader副本在内）组成 ISR 。生产者发送消息时，只有leader与客户端发生交
转载
2024-03-22 10:57:30
165阅读
1.Kafka 中的 ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)代表什么? 1、AR = ISR+OSRISR: kafka 使用多副本来保证消息不丢失，多副本就涉及到kafka的复制机制，在一个超大规模的集群中，时不时地这个点磁盘坏了，那个点cpu负载高了，出现各种各样的问题，多个副本之间的复制，如果想完全自动化容错，就要做一些
转载
2024-03-27 10:59:09
153阅读
