kafka面试问题听过kafka在面试中经常被问到为此整理了20个问题及其答案~Kafka中的ISR(InSyncRepli)、OSR(OutSyncRepli)、AR(AllRepli)又代表什么？ISR:同步队列副本：This is the subset of the replicas list that is currently alive and caught-up to the lead
转载
2024-06-05 05:06:02
67阅读
大家好，这是一个为了梦想而保持学习的博客。这个专题会记录我对于 KAFKA 的学习和实战经验，希望对大家有所帮助，目录形式依旧为问答的方式，相当于是模拟面试。【概述】上一章我们讲了 Replica 存在的意义是为了解决数据高可靠和服务高可用问题，kafka 中跟 Replica 跟 ISR 的关系是绕不开的，所以这一章就讲一下 ISR 是什么。【ISR 是什么】首先，ISR 的全称叫做： 
转载
2024-02-08 03:42:33
63阅读
kafka中的ISR、AR又代表什么？ISR伸缩又是什么？ 分区中的所有副本统称为AR（Assigned Repllicas）。所有与leader副本保持一定程度同步的副本（包括Leader）组成ISR（In-Sync Replicas），ISR集合是AR集合中的一个子集。消息会先发送到leader副本，然后follower副本才能从leader副本中拉取消息进行同步，同步期间内follower副
转载
2024-04-17 11:15:00
46阅读
1. Kafka的用途有哪些？使用场景如何？
总结下来就几个字:异步处理、日常系统解耦、削峰、提速、广播如果再说具体一点例如:消息,网站活动追踪,监测指标,日志聚合,流处理,事件采集,提交日志等
2. Kafka中的ISR、AR又代表什么？ISR的伸缩又指什么
ISR:In-Sync Replicas 副本同步队列AR:Assigned Replicas 所有副本
ISR是由leader维护，
转载
2024-06-25 21:48:40
19阅读
首选介绍几个名词： ISR:一个Partition中的Leader的所有follower（replication）集合。 AR：分配给此Partition的所有rep
转载
2024-09-10 22:34:19
240阅读
锁屏面试题百日百刷，每个工作日坚持更新面试题。请看到最后就能获取你想要的,接下来的是今日的面试题：1.解释一下，在数据制作过程中，你如何能从Kafka得到准确的信息？在数据中，为了精确地获得Kafka的消息，你必须遵循两件事: 在数据消耗期间避免重复，在数据生产过程中避免重复。这里有两种方法，可以在数据生成时准确地获得一个语义:每个分区使用一个单独的写入器，每当你发现一个网络错误，检查该
本文讨论的是假设存在完美无缺的producer和consumer， 从broker角度保障数据可靠的机制。一、名词介绍ISR(In-sync Replication):所有与leader副本保持一定程度同步的副本（包括Leader）,是kafka动态维护的一组同步副本，每当leader挂掉时，在ISR集合中选举出一个follower作为leader提供服务，当ISR中的副本被认为坏掉的时候，会被踢
转载
2024-06-26 15:28:28
125阅读
1、kafka中的ISR、AR又代表什么？ISR伸缩又是什么？分区中的所有副本统称为AR（Assigned Repllicas）。所有与leader副本保持一定程度同步的副本（包括Leader）组成ISR（In-Sync Replicas），ISR集合是AR集合中的一个子集。消息会先发送到leader副本，然后follower副本才能从leader副本中拉取消息进行同步，同步期间内follower
转载
2024-05-21 16:35:07
123阅读
ISR 机制的存在是 kafka 为了平衡可靠性和可用性，不指定提供高可靠或者高可用的服务，而是将决定权交给了使用者，让使用者通过参数来控制，到底要实现什么程度的高可靠与高可用。
原创
2023-10-16 13:38:01
175阅读
名词解释要想说明白kafka的HA机制，我们必须先搞明白几个缩写名词，1、AR、ISR、OSRAR：Assigned Replicas，某分区的所有副本（这里所说的副本包括leader和follower）统称为 AR。ISR：In Sync Replicas，所有与leader副本保持"一定程度同步"的副本（包括leader副本在内）组成 ISR 。生产者发送消息时，只有leader与客户端发生交
转载
2024-03-22 10:57:30
165阅读
【需求】：生产者发送数据至
kafka 序列化使用 Avro，消费者通过 Avro 进行反序列化，并将数据通过 MyBatis 存入数据库。一、Pom【1】Apache Avro 1.8；【2】Spring
Kafka 1.2；【3】Spring Boot 1.5；【4】Maven 3.5；<?xml version="1.0" encoding="UTF-8"?>
<proje
转载
2024-09-27 12:53:59
56阅读
目录【ISR是什么】【ISR的作用是什么】【为什么要设计ISR机制】【ISR是什么】首先，ISR的全称叫做： In-Sync Replicas （同步副本集）,我们可以理解为和leader保持同步的所有副本的集合。一个分区的所有副本集合叫做AR（ Assigned Repllicas ）与leader-replica未能保持同步的副本集叫做OSR（ Out-Sync Relipcas ）因此我们就
转载
2024-04-17 09:19:46
25阅读
本文结合在使用Kafka中的使用，和遇到的问题1.Kafka中如何保障发送消息的可靠性？首先我们在创建一个Producer是，可以设置的一些参数如下：1（默认）：这意味着producer在ISR中的leader已成功收到的数据并得到确认后发送下一条message。如果leader宕机了，则会丢失数据。0：这意味着producer无需等待来自broker的确认而继续发送下一批消息。这种情况下数据传输
转载
2024-06-28 19:24:12
36阅读
1、开启kafka的注解@EnableKafka通过开启kafka注解可以看到Import的类KafkaListenerConfigurationSelector加载一个配置类KafkaBootstrapConfiguration，而此类中有两个重要的类:KafkaListenerAnnotationBeanPostProcessor、KafkaListenerEndpointRegistry2、
转载
2024-06-27 22:24:04
53阅读
1. 问题Data Replication Kafka 的 Data Replication 需要解决如下问题：怎样 Propagate 消息在向 Producer 发送 ACK 前需要保证有多少个 Replica 已经收到该消息怎样处理某个 Replica 不工作的情况怎样处理 Failed Replica 恢复回来的情况2. Propagate 消息通过zookeeper先知道leader在哪
转载
2024-04-04 19:33:35
66阅读
SR and AR简单来说，分区中的所有副本统称为 AR (Assigned Replicas)。所有与leader副本保持一定程度同步的副本（包括leader副本在内）组成 ISR (In Sync Replicas)。 ISR 集合是 AR 集合的一个子集。消息会先发送到leader副本，然后follower副本才能从leader中拉取消息进行同步。同步
转载
2024-05-22 09:31:15
77阅读
1. kafka中的broker 是什么?每一个kafka集群中的节点被称作broker, 多个节点组成一个kafka集群, 生产者向broker中的topic生产数据, 消费者从broker中的topic消费数据 2. Kafka中的ISR、AR、OSR又代表什么？ISR的伸缩又指什么?ISR : 副本同步队列OSR : AR - ISRAR : 全部副本ISR由l
转载
2024-04-11 20:14:31
75阅读
前言要了解生产者ISR，需要提前了解下生产者重试机制和应答机制生产者重试机制创建生产者时，可以指定retries参数，如果向broker发送消息时抛出异常，并且异常是可重试异常RetriableException，那么此时就会按照指定的次数进行重试1、哪些情况下可以重试（1）没有到delivery超时时间（2）剩余重试次数大于0（3）异常类型为RetriableException或者使用事务管理器
目录副本与ISR设计Follower副本同步ISR设计 副本与ISR设计一个Kafka分区本质就是一个备份日志，即利用多份相同的备份共同提供冗余机制来保持系统高可用性。 这些备份在Kafka中被称为副本(replica)。Kafka把分区的所有副本均匀地分配到所有broker上。 并从这些副本中挑选一个作为leader副本对外提供服务，而其他副本被称为Follower副本，只能被动地向leade
转载
2024-03-19 02:29:49
130阅读
一句话概述：
isr机制通过为维护一个与leader副本保持“同步状态”的集合，保证数据的一致性，提升了同步性能；ack机制与幂等性保证了数据的exactly once。引入isr的原因kafka并未采取Zab和Paxos协议的多数投票机制来来保证主备数据的一致性，而是提出了isr（in-sync- replicas）机制保证数据的一致性。多数投票机制，如果副本数是2f+1,那么最多允许f个副本发
转载
2024-04-22 23:08:13
97阅读
