kafka 中的术语 | 解释 |
broker | |
topic | |
partition | 一个topic下有多个不同partition,每个partition为一个目录,partition命名规则为topic名称+有序序号,第一个partition序号从0开始,序号最大值为partitions数量减1; 每个partion(目录)相当于一个巨型文件被平均分配到多个大小相等segment(段)数据文件中。但每个段segment file消息数量不一定相等,这种特性方便old segment file快速被删除; partiton支持顺序读写; |
segment | segment 文件组成:由2大部分组成,分别为index file和data file,此2个文件一一对应,成对出现,后缀”.index”和“.log”分别表示为segment索引文件、数据文件; segment文件命名规则:partion全局的第一个segment从0开始,后续每个segment文件名为上一个segment文件最后一条消息的offset值。数值最大为64位long大小,19位数字字符长度,没有数字用0填充; 索引文件存储大量元数据,数据文件存储大量消息,索引文件中元数据指向对应数据文件中message的物理偏移地址。 其中以索引文件中元数据3,497为例,依次在数据文件中表示第3个message(在全局partiton表示第368772个message)、以及该消息的物理偏移地址为497; segment文件生命周期由服务端配置参数决定; |
message | 在partition(分区)内的每条消息都有一个有序的id号,这个id号被称为偏移(offset),它可以唯一确定每条消息在partition(分区)内的位置,即offset表示partition的第多少条message; |
kafka 中的术语
转载本文章为转载内容,我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题,欢迎原作者联系我们进行内容更正或删除文章。
下一篇:VMware使用方法
提问和评论都可以,用心的回复会被更多人看到
评论
发布评论
相关文章
-
Stable Diffusion中的常用术语解析
在使用stable diffusion的过程中,你会听到很多术语,是不是很迷茫这些词到底是做什么的?不用怕,看这篇文件就够了。
采样器 检查点 人工智能 AIGC 程序那些事 -
应用角度看kafka的术语和功能
kafka的术语应用场景
数据 kafka 服务器 -
时序分析中的关键术语
本文就针对时序分析中常用的术语,给予简单介绍。
fpga 数据 建立时间 触发器 时序分析 -
Kafka的原理和一些关键术语概念
本文带大家了解Kafka基本原理和一
kafka 大数据 分布式 数据 服务器