目录一、什么是Kafka？二、Kafka的使用场景三、kafka系统架构四、Kafka高性能1 批量发送消息2 持久化消息-顺序写3 基于索引文件的查询4 零拷贝五、Kafka高可靠1 消息备份2 ISR & LEO & HW3 Acks六、MAC本地安装Kafka1 安装2 启动kafka服务3 创建Topic，显示数据 本文主要介绍Kafka架构、高性能、高可用以及m
What’s LeaderEpochCache?每个log（一个log有1到多个segment）都有一个记录了leaderEpoch和其startOffset的文件：leader-epoch-checkpointlog在初始化的时候，会从文件系统加载各种元数据信息，其中一项就是读取leader-epoch-checkpoint文件，建立leaderEpochCache，cache其实就是epoch
本文主要讨论0.11版本之前Kafka的副本备份机制的设计问题以及0
原创
2022-03-28 17:46:05
428阅读
本文主要讨论0.11版本之前Kafka的副本备份机制的设计问题以及0.11是如何解决的。简单来说，0.11之前副本备份机制主要依赖水位(或水印)的概念，而0.11采用了leader epoch来标识备份进度。后面我们会详细讨论两种机制的差异。不过首先先做一些基本的名词含义解析。水位或水印（watermark）一词，也可称为高水位(high watermark)，通常被用在流式处理领域（比如...
原创
2021-06-21 16:05:58
333阅读
本地LEO和Remote LEOKafka分区的follower副本的LEO属性保存了两份：本地LEO：在follower副本所在broker的缓存中保存一份Remote LEO：在leader副本所在的broker的缓存中保存一份（Remote LEO）本地LEO很简单，就是follower本地日志文件的LEO，即它向leader发送FETCH请求得到结果后写入log文件时，该LEO增加。Rem
1. 高水位1.1 高水位的作用在Kafka中，高水位的作用主要有两个定义消息可见性，即用来标识分区下的哪些消息是可以被消费者消费的。帮助Kafka完成副本同步下面这张图展示了多个与高水位相关的 Kafka 术语。假设这是某个分区 Leader 副本的高水位图。首先，请注意图中的“已提交消息”和“未提交消息”。之前在讲到 Kafka 持久性保障的时候，特意对两者进行了区分。现在，再次强调一下。在分
概述Kafka使用HW值来决定副本备份的进度，而HW值的更新通常需要额外一轮FETCH RPC才能完成，故而这种设计是有问题的。它们可能引起的问题包括：备份数据丢失备份数据不一致 Kafka 0.11版本之后引入了leader epoch来取代HW值。Leader端多开辟一段内存区域专门保存leader的epoch信息，这样即使出现上面的两个场景也能很好地规避这些问题。EpochEntr
高水位介绍你可能听说过高水位但不一定耳闻过Leader Epoch。前者是Kafka中重要概念，而后者是社区0.11版本新推出的，主要是为了弥补高水位机制的一些缺陷。首先来看一下基本定义，什么是高水位？或者说什么是水位？水位一词多用于流式处理领域，比如Spark Streaming或Flink框架中都有水位的概念。教科书中关于水位的的经典定义是：在时刻T，任意创建时间为T'，且T' <= T
目录高水位高水位更新机制Leader 副本高水位Follower 副本高水位高水位更新说明Leader Epoch高水位在分区高水位以下的消息被认为是已提交消息。kafka中，分区的高水位就是其 Leader 副本的高水位。作用定义消息可见性，即用来标识分区下的哪些消息是可以被消费者消费的。帮助 Kafka 完成副本同步。LEO（Log End Offset）表示副本写入下一条消息的位移值。高水位
kafka中HW（High Watermark）有两个作用位移值小于高水位的是已提交消息，可被消费者消费，大于等于高
原创
2022-06-27 13:38:25
790阅读
文章目录1. 什么是高水位？2. 高水位的作用3. 高水位更新机制1. Leader 副本高水位更新机制2. Follower 副本高水位更新机制4. 副本同步机制解析5. Leader Epoch 你可能听说过高水位（High Watermark），但不一定耳闻过 Leader Epoch。前者是 Kafka 中非常重要的概念，而后者是社区在 0.11 版本中新推出的，主要是为了弥补高水位机制
文章目录高水位是什么高水位的作用高水位更新Leader 副本Follower 副本 高水位是什么水位是一个单调增加且表征最早未完成工作的时间戳蓝色Completed部分代表已经完成的工作红色In-Flight部分代表正在进行中的工作蓝色和红色两者的边界就是水位线Kafka中水位是通过消费位移来表示的，而不是时间戳。Kafka中的高水位一般缩小为HW高水位的作用标识分区下哪些消息是可以被消费者消费
Kafka 的水位 : 表示消息位移Completed 蓝色部分 : 已完成的工作In-Flight 红色部分 : 正在进行中的工作两者的边界为水位线高水位高水位的作用 :定义消息可见性，标识分区下的哪些消息能被消费者消费帮助 Kafka 完成副本同步已提交/未提交 :已提交消息 : 分区高水位下的消息消费者只能消费已提交消息 : 如 : 位移 < 8 的所有消息未提交消息：高水位含及上的消
摘要本文主要讨论0.11版本之前Kafka的副本备份机制的设计问题以及0.11是如何解决的。简单来说，0.11之前副本备份机制主要依赖水位(或水印)的概念，而0.11采用了leader epoch来标识备份进度。后面我们会详细讨论两种机制的差异。不过首先先做一些基本的名词含义解析。0x01 基本概念1.1 水位水位或水印（watermark）一词，也可称为高水位(high watermark)，通
文章目录一、存储：TOPIC的存储1.1 术语1.2 MQ的消息保障机制1.3 kafa的解决方案1.3.1 描述1.3.2 topic、partition、segment、offset的关系1.3.2.1 segment1.3.2.2 offset查找机制二、分布式的原理三、Producers四、Consumers 一、存储：TOPIC的存储吞吐量TPS 单位时间的访问量;QPS 每秒的访问量
~~~这是一篇有点长的文章，希望不会令你昏昏欲睡~~~本文主要讨论0.11版本之前Kafka的副本备份机制的设计问题以及0.11是如何解决的。简单来说，0.11之前副本备份机制主要依赖水位(或水印)的概念，而0.11采用了leader epoch来标识备份进度。后面我们会详细讨论两种机制的差异。不过首先先做一些基本的名词含义解析。水位或水印（watermark）一词，也可称为高水位(high wa
概述HW即High Watermark，高水位，经典定义如下：「在时刻 T，任意创建时间（Event Time）为 T’，且
Kafka诞生于Linkin公司。当时Linkin需要对用户和网站上产生的活动数据进行处理，什么是活动数据呢？比如页面访问量、用户行为、搜索情况等，对这些数据的分析将被应用于广播、排序、个性化 推荐、运营监控等。这类数据有个特点，需要实时处理，最好当下用户的一些行为数据能马上被后台感知、计算，并给出一些推荐等等，另外一个是数据量大，毫无疑问，每个用户的活动数据是远远多于诸如
我们知道kafka中hw可以用来管理消费者能访问到的最新的数据的位置, 并且当kafka leader节点挂掉后, follower节点会把hw以后的数据都清理掉, 从hw位置开始从新选举出来的leader节点同步数据, 那么HW增长的原理是怎样的呢? 带着这个疑问, 看完以下内容就能明白! 1. LEO (log end offset)是干啥的?每个副本(leader/ f
本文主要介绍了Kafka High level的代码架构和主要的类。这张图是0.8版本的架构Boker 架构1 network layerKafka使用NIO自己实现了网络层的代码， 而不是采用netty, mina等第三方的网络框架。从性能上来讲，这一块的代码不是性能的瓶颈。
它采用IO多路复用和多线程下的Reactor模式,主要实现类包括SocketServer, Acceptor, Proc
