石臻臻的杂货铺的博客_kafka2

【kafka源码】ReassignPartitionsCommand分区副本重分配源码原理分析(附配套教学视频)

文章目录ers/topics/{topicName}`变化,检查是否有新增分区2.2.5 Controller监听zk节点`/bro

kafka

大数据

sed

限流

json

原创 2023-01-01 18:19:00 371 阅读

【云原生】多网络情况下,Kafka客户端如何选择合适的网络发起请求

最近有个同学问了我一个非常有意思的问题, 今天我根据这个问题来给大家好好分析一

网络

kafka

java

云原生

原力计划

原创 2022-12-16 10:12:52 200 阅读

图解Kafka中的数据采集和统计机制

在讲解kafka限流机制之前,我想先讲解一下Kafka中的数据采集和统计机制你会不会好奇,kafka监控中,那些数据都

kafka

面试

java

数据

sed

原创 2022-11-15 14:17:21 163 阅读

多网络情况下,Kafka客户端如何选择合适的网络发起请求

最近有个同学问了我一个非常有意思的问题, 今天我根据这个问题来给大家好好分析一下。我们都知道, 每个Br

网络

kafka

java

客户端

原创 2022-11-15 12:54:38 137 阅读

图解Kafka消费者客户端分区分配策略

我们先看一下分区策略的类图/*** 返回序列化后的自定义数据} /*** 分区分配的计算逻辑/*** 当组成员从领导者那里收到其分配时调用的回调}

kafka

java

分布式

apache

自定义

原创 2022-10-19 10:41:25 645 阅读

【kafka异常】kafka 常见异常处理方案(持续更新! )

The leader epoch in the request is older than the epoch on the broker--Partition $topicPartition marked as failed说明

kafka

kafka异常

解决方法

发送消息

原创 2022-10-06 22:56:28 4381 阅读

13张图让你百分百掌握kafka副本同步限流机制

文章目录不同Broker之间副本同步限流各种情况的限流情况Leader 限流 Follower不限流结论Leader不限流 Follower限流同Broker跨目录同步限流如何手动设置限流设置相关配置属性如何设置合理的限流值呢？

kafka

面试

big data

限流

数据

原创 2022-10-04 21:37:50 98 阅读

【kafka源码】kafka跨目录数据迁移实现源码解析

同一个Broker直接如何进行跨目录迁移？

kafka

分布式

java

限流

json

原创 2022-10-04 21:37:14 88 阅读

Kafka 消费者之 findCoordinator源码解析

Kafka消费者源码即系

kafka

big data

分布式

服务端

数据

原创 2022-09-23 20:15:31 174 阅读

领取20万字《Kafka运维与实战宝典》PDF文档

x

kafka

运维

java

开发人员

原创 2022-09-23 20:13:35 304 阅读

寻找协调器FindCoordinatorRequest请求流程

信息发起请求的时候也是会用的。

java

servlet

服务器

消费者

原力计划

原创 2022-09-23 20:12:37 183 阅读

一文搞懂Kafka中的listeners和advertised.listeners以及其他通信配置

?《Kafka运维管控平台LogiKM》? ✏️更强大的管控能力✏️ ?更高效的问题定位能力? ?更便捷的集群运维能力? ?更专业的资源治理? ?更友好的运维生态? 文章目录参数详解listenersadvertised.listenerslistener.security.protocol.mapinter.b

kafka

kafka上云

原力计划

监听器

sed

原创 2022-09-16 18:57:32 4054 阅读

Kafka中生产消息时的三种分区分配策略

DefaultPartitioner 默认分区策略如果消息中指定了分区，则使用它如果未指定分区但存在key，则根据序列化key的hash选择一个分区如果不存在分区或key，则会使用粘性分区策略，关于粘性分区请参阅 KIP-480。.........

kafka

java

分布式

云原生

原力计划

原创 2022-08-07 00:32:31 404 阅读

【云原生】一文搞懂Kafka中的listeners和advertised.listeners以及其他通信配置

参数详解listener.security.protocol.map安全协议集合默认集合：

kafka

云原生

kafka上云

原力计划

监听器

原创 2022-06-19 00:44:18 2716 阅读

【云原生】Kafka中生产消息时的三种分区分配策略

DefaultPartitioner 默认分区策略如果消息中指定了分区，则使用它

kafka

java

分布式

云原生

原力计划

原创 2022-06-19 00:44:06 222 阅读

图解Kafka的RecordBatch结构

文章目录RecordBatchRecordBatch初始化写入消息Record结构图关闭Prod

kafka

java

分布式

字段

数据

原创 2022-05-25 08:53:32 459 阅读

【kafka实战】分区重分配可能出现的问题和排查问题思路(生产环境实战,附视频)

文章目录前提所有异常情况1.

kafka

kafka实战

大数据

限流

数据

原创 2022-05-18 11:05:52 521 阅读

【kafka运维】Kafka全网最全最详细运维命令合集(精品强烈建议保存)

本文所有命令,博主均全部操作验证过,保证准确性; 非复制粘贴拼凑文章; 如果想了解更多工具命令,可在评论区留下评论,博主会择期加上;kafka-topics.sh、kafka-configs.sh、kafka-reassign-partitionskafka-console-producer.sh、kafka-console-con

kafka

LogIKM

消息队列

bootstrap

重置

原创 2022-05-18 10:58:00 1290 阅读 1收藏

你想知道的所有关于Kafka Leader选举流程和选举策略都在这(内含12张高清图)

kafka

zookeeper

分布式

状态机

数据

原创 2022-05-18 10:52:05 990 阅读

【kafka源码】/log_dir_event_notification的LogDir脱机事件通知

前言我们会看到zk的数据中有一个节点/log_dir_event_notification/，这是一个序列号持久节点这个节点在kafka中承担的作用是: 当某个Broker上的LogDir出现异常时(比如磁盘损坏,文件读写失败,等等异常): 向zk中谢增一个子节点/log_dir_event_notification/log_dir_event_序列号

kafka

数据

序列号

原创 2022-05-18 10:50:27 118 阅读

【读者答疑】为啥我创建的topic分区分配不均匀？

问题描述问题描述图解这位朋友的问题是:集群有6个Broker创建topicA 有60个分区单副本Broker-0 中挂载了2个磁盘，有2个目录为啥创建topicA的时候, 最终分配方式目录1和目录2不是平均分配呢？问题解答这个问题是分区副本分配策略的问题分区在Broker层面的分配策略按照当前的topic分区数量平均分配, 负载均衡, 所以每个Broker都可以分配到 10个分区。单B

kafka

java

分布式

运维

高并发

原创 2022-05-18 10:13:27 116 阅读

【kafka源码】kafka跨目录数据迁移实现源码解析| 文末送书8本

同一个Broker直接如何进行跨目录迁移？

kafka

分布式

java

限流

数据

原创 2022-05-18 10:08:05 171 阅读

Kafka 消费者之 findCoordinator源码解析

Kafka消费者源码即系

kafka

big data

分布式

数据

服务端

原创 2022-05-18 10:06:47 367 阅读

图解Kafka分区副本同步限流机制三部曲(源码原理篇+测试用例 )

之前的文章中,我们有讲解Kafka中的数据采集和统计机制分区副本限流机制三部

kafka

测试用例

java

限流

数据

原创 2022-05-18 10:05:41 864 阅读

【kafka运维】Leader重新选举运维脚本

文章目录kafka-leader-election Leader重新选举More日常运

运维

kafka

json

原创 2022-05-18 10:03:55 549 阅读

13张图让你百分百掌握kafka副本同步限流机制 |

文章目录不同Broker之间副本同步限流各种情况的限流情况Leader 限流

kafka

面试

big data

限流

数据

原创 2022-05-18 10:02:52 267 阅读

图解Kafka中的数据采集和统计机制 |

在讲解kafka限流机制之前,我想先讲解一下Kafka中的数据采集和统计机制你会不

kafka

面试

java

数据

重置

原创 2022-05-18 10:00:56 224 阅读

分区副本限流机制三部曲(源码篇)

分区副本同步限流机制三部曲(源码篇)

kafka

源码

限流

数据

转载 2022-05-18 09:59:54 118 阅读

【kafka思考】最小成本的扩缩容副本设计方案

在这篇文章开始前,你需要先了解【kafka源码】kafka分区副本的分配规则从【kaf

1024程序员节

kafka

自定义

随机数

原创 2022-05-18 09:58:30 136 阅读

Kafka如何修改分区Leader

的规则,那么 0 号副本肯定就是Leader了我们都知道分区中的只有Leader副本才会提供读写副本,其他副本作为备份

kafka

读者答疑

数据

json

原创 2022-05-18 09:53:49 370 阅读

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯

51CTO博客

石臻臻的杂货铺