0. 主要参考：1. Kafka基础架构组成：2. Kafka的一些操作命令：3. Kafka 生产者消息发送流程：4. Kafka 的ack机制：5. Kafka 生产者消息发送模式（同步/异步）：6. Kafka发送消息的分区策略：7. Kafka消息发送可靠性保证（消息不丢失）：8. Kafka消息发送去重：8.1. 幂等性：8.2. 生产者事务：9. Kafka的有序消息保证：10. K
转载
2024-03-12 14:27:44
42阅读
Kafka文件的存储机制同一个topic下有多个不同的partition，每个partition为一个目录，partition命名的规则是topic的名称加上一个序号，序号从0开始。每一个partition目录下的文件被平均切割成大小相等（默认一个文件是500兆，可以手动去设置）的数据文件，
每一个数据文件都被称为一个段（segment file），但每个段消息数量不一定相等，这种特性能够使得老的
转载
2024-09-10 09:32:06
260阅读
Segment file组成： 由2大部分组成，分别为index file和data file，此2个文件一一对应，成对出现，后缀".index"和“.log”分别表示为segment索引文件、数据文件。
原创
2021-07-07 11:13:23
442阅读
Segment file组成： 由2大部分组成，分别为index file和data file，此2个文件一一对应，成对出现，后缀".index"和“.log”分别表示为segment索引文件、数据文件。Segment文件命名规则： partion全局的第一个segment从0开始，后续每个segment文件名为上一个segment文件最后一条消息的offset值。数值最大为64位long大小...
原创
2022-03-24 09:50:14
190阅读
kafka 有几个重要的概念需要先了解一下broker:可以理解为kafka 所在的服务器zookeeper:分布式服务框架在kafka 中的作用主要负责保存topic ，partition 元数据，和对broker 的监控及治理，以及partition 的leader 选举（partition 可以有多个副本，但是只有一个处于工作状态，副本只是负责同步数据，当leader partition 死
转载
2024-05-29 09:17:16
34阅读
一文详解Kafka一、介绍1.1 简介Apache Kafka is an open-source distributed event streaming platform used by thousands of companies for high-performance data pipelines, streaming analytics, data integration, and mi
转载
2024-06-17 07:43:00
188阅读
消息的存储原理： 消息的文件存储机制: 前面我们知道了一个 topic 的多个 partition 在物理磁盘上的保存路径，那么我们再来分析日志的存储方式。通过 ll /tmp/kafka-logs/testTopic-0/ 命令找到对应 partition 下的日志内容: kafka 是通过分段的方式将 Log 分为多个 LogSegment，LogSegment 是一个逻辑上的概念，一个
转载
2024-04-01 14:49:51
52阅读
存储结构概述每一个partition相当于一个巨型文件被平均分配到多个大小相等segment数据文件里。但每一个段segment file消息数量不一定相等，这样的特性方便old segment file高速被删除。每一个partition仅仅需要支持顺序读写即可。segment文件生命周期由服务端配置参数决定。partition中segment文件存储结构 segment由index file和
转载
2024-04-17 17:20:09
67阅读
这里分析kafka LogSegment源代码通过一步步分析LogManager,Log源代码之后就会发现,最终的log操作都在LogSegment上实现.LogSegment负责分片的读写恢复刷新删除等动作都在这里实现.LogSegment代码同样在源代码目录log下.LogSegment是一个日志分片的操作最小单元.直接作用与messages之上.负责实体消息的读写追加等等.LogSegmen
转载
2024-07-04 16:28:01
84阅读
一、场景分析 Kafka服务端的网络模块基本已经分析完了，在KafkaApis处理生产消息类型请求的最后，通过调用ReplicaManager.appendRecords方法，将数据写入了本地存储系统。从这篇开始，将分析Kafka服务端的存储模块，包括涉及到的各种组件、存储流程和一些核心概念等。 在分
转载
2024-06-15 09:15:31
30阅读
大家都知道 Kafka 是一个非常牛逼的消息队列框架，阿里的 RocketMQ 也是在 Kafka 的基础上进行改进的。对于初学者来说，一开始面对这么一个庞然大物会不知道怎么入手。那么这篇文章就带你先了解一下 Kafka 的技术架构，让你从全局的视野认识 Kafka。了解了 Kafka 的整体架构和消息流程之后，脑海里就会有一个大致的结构，这时候再去学习每个部分就容易得多了。我们先来看一下 Kaf
转载
2024-07-04 16:01:44
61阅读
前面介绍了 Kafka 副本（Replication）机制、存储机制、事务机制、高可用与生产消费、流式 SQL 引擎 KSQL、日志相关的知识点，今天我将详细的为大家介绍 Kafka 数据备份与恢复相关知识，希望大家能够从中收获多多！kafka的备份策略Kafka的备份的单元是partition，也就是每个partition都都会有leader partiton和follow parti
转载
2024-07-18 10:02:19
260阅读
1、Partition中的分段存储Segment 一个partition被切割成多个相同大小的segment(这个是由log.segment.bytes 决定，控制每个segment的大小)2、Partition中的Segment文件的数据结构 接下来看下segment的存储结构segment file组成：由2大部分组成，分别为index file和data file，此2个文件一一对应，成对出
转载
2024-03-22 09:48:23
773阅读
原创
2021-07-20 11:15:11
352阅读
（1）Kafka是什么？它是为了解决大数据实时传输处理的一个中间件，基于发布订阅模式设计的，可以看作是MQ，也可以当作数据库使用（不推荐）。上图再看概念： Producer：数据的生产者。 Kafka Cluster：Kafka集群。 Broker：Kafka Cluster集群下会有多个Broker，就是一个个Kafka集群中的节点。 Topic：主题，做消息类型分类。Kafka是基于发布订阅模
转载
2024-09-21 13:21:54
69阅读
在Kubernetes集群中，我们经常会用到Kafka作为消息中间件来支撑各种业务场景。而对Kafka备份和恢复是一项非常重要的操作，可以帮助我们保障数据的安全和可靠性。下面我将介绍如何在Kubernetes集群中实现Kafka备份和恢复的过程。
首先，我们需要明确整个流程，可以用以下表格展示步骤：
| 步骤 | 操作 |
|----------
原创
2024-04-30 12:21:48
120阅读
# Kafka数据备份
## 一、流程概述
备份Kafka数据是非常重要的，可以在数据丢失或者意外发生时快速恢复数据。下面是备份Kafka数据的流程：
| 步骤 | 描述 |
| ------ | ------ |
| 1 | 创建备份主题 |
| 2 | 设置Kafka Connect 连接 |
| 3 | 配置备份任务 |
| 4 | 运行备份任务 |
| 5 | 恢复数据 |
##
原创
2024-05-29 11:10:35
191阅读
1.概述 在 Kafka 集群中，我们可以对每个 Topic 进行一个或是多个分区，并为该 Topic 指定备份数。这部分元数据信息都是存放在 Zookeeper 上，我们可以使用 zkCli 客户端，通过 ls 和 get 命令来查看元数据信息。通过 log.dirs 属性控制消息存放路径，每个分区对应一个文件夹，文件夹命名方式为：TopicName-PartitionIndex，该
转载
2024-04-03 08:54:35
61阅读
系列文章目录 文章目录系列文章目录一. 业务模型1.1 概念梳理1.2 文件分析1.2.1 数据目录1.2.2 .log文件1.2.3 .index和.timeindex文件1.3 顺序IO1.4 端到端压缩二. 源码结构2.1 核心类2.1.1 核心类之间的关系2.1.1 数据传递对象2.1.2 ReplicaManager2.1.3 Partition2.1.4 Replica2.1.5 Lo
转载
2024-05-31 23:00:30
53阅读
1. 分区(Partition)的leader 和 follower简介: 在Kafka中每一个大的topic被分为多个区(并且在不同的主机上,分布式嘛!!)以及多个副本(副本机制,数据的安全性考虑)。 每个分区都有一个leader以及0个或者多个follower，在创建topic时，Kafka会将每个分区的leader均匀地分配在每个broker上。所有的读写操作都是由leader处理，而所有的
转载
2024-04-06 10:03:05
37阅读
