一、Kafka概述1.Kafka是什么在流式计算中，Kafka一般用来缓存数据，Storm通过消费Kafka的数据进行计算。1）Apache Kafka是一个开源消息系统，由Scala写成。是由Apache软件基金会开发的一个开源消息系统项目。2）Kafka最初是由LinkedIn公司开发，并于 2011年初开源。2012年10月从Apa
转载
2024-03-18 18:24:01
77阅读
消息队列概念：（Message queue）：嵌入对象。“消息队列”是在消息的传输过程中保存消息的容器。消息被发送到队列中。 消息队列管理器在将消息从它的源中继到它的目标时充当中间人。使用场景：当系统中出现“生产“和“消费“的速度或稳定性等因素不一致的时候，就需要消息队列，作为抽象层，弥合双方的差异。例子：1）业务系统触发短信发送申请，但短信发送模块速度跟不上，需要将来不及处理的消息暂存一下，缓冲
Kafka Shell Lagkafka 版本：2.1.0前言在生产环境中，比如你正在使用group kafka-lag消费某topic内的数据。目前你没有搭建对应的监控系统，你如何去查看对应partition 的堆积信息呢？很多人都会去使用这个命令：# 正常使用
kafka-consumer-groups --bootstrap-server master:9092 --describe --g
转载
2024-02-28 09:59:04
377阅读
前言书接前文，这一篇笔记记录一下Kafka如何配置（总体而言）。本篇文章主要是结合Kafka的quickstart的文章来理解，打算中英文混排--尽管这样做，是很多如何学好英语的建议里面所极力反对的--这样做，是为了简化书写，抓住重点进行记录。正文Step 1: Download the codeDownload the 2.1.0 release and un-tar it.Step
MQ(消息队列)是跨进程通信的方式之一，可理解为异步rpc，上游系统对调用结果的态度往往是重要不紧急。使用消息队列有以下好处：业务解耦、流量削峰、灵活扩展。接下来介绍消息中间件Kafka。Kafka是什么？Kafka是一个分布式的消息引擎。具有以下特征能够发布和订阅消息流(类似于消息队列)以容错的、持久的方式存储消息流多分区概念，提高了并行能力Kafka架构总览 Topic消息的主题、
转载
2024-07-18 17:09:12
110阅读
今天我要跟你分享的主题是：消费者组消费进度监控如何实现。对于 Kafka 消费者来说，最重要的事情就是监控它们的消费进度了，或者说是监控它们消费的滞后程度。这个滞后程度有个专门的名称：消费者 Lag 或 Consumer Lag。所谓滞后程度，就是指消费者当前落后于生产者的程度。比方说，Kafka 生产者向某主题成功生产了 100 万条消息，你的消费者当前消费了 80 万条消息，那么我们就说你
转载
2024-03-10 20:08:34
209阅读
我们知道，kafka中每个topic被划分为多个partition，每个partition又有多个副本，那么这些分区副本是怎么均匀的分布在整个kafka集群的broker节点上的？partition副本的leader是通过什么算法选举出来的？partition副本的follower是怎么复制备份leader的数据的？本文我们就来说一说和 kafka 高可用相关的一些策略。01名词解释 要想说明白k
转载
2024-06-02 21:54:17
90阅读
Kafka 消费进度Kafka 自带命令Java Consumer APIJMX 监控指标 监控消费进度 : 看滞后程度：消费者 Lag , Consumer Lag滞后程度 : 消费者落后于生产者的程度如 : Kafka 生产者向某主题成功生产 100 万条消息，消费者消费 80 万条消息那消费者就滞后 20 w条，即 Lag = 20 wKafka 监控 Lag 是在分区上的层级 :主题的
转载
2024-02-08 13:31:07
0阅读
Kafka - 04数据存储及查询 一、Kafka数据存储1.1 存储结构 topic在broker上存储方式创建topic时，指定分区和副本数量分区目录ttopic2-0， 格式： 主题-分区号目录下是数据文件，Kafka数据就是message，数据存储在log文件里.log结尾的就是日志文件， 在Kafka中把数据文件就叫做日志文件。一个分区下面默认有
转载
2024-03-22 09:51:44
94阅读
在Kafka设计解析（二）Kafka High Availability （上）文中的ACK前需要保证有多少个备份小节说到，如果一个Follower宕机，或者落后太多，Leader将把它从ISR（即in-sync Replica）中移除。这里所描述的“落后太多”指Follower复制的消息落后于Leader后的条数超过预定值（该值可在$KAFKA_HOME/config/server.proper
转载
2024-08-06 20:48:51
17阅读
Java 使用 Kafka 发布信息与消费消息在Java中操作kafka相对于mysql数据库来说更加的简单。一篇文章看懂Java操作kafka第一步 引入依赖由于我们一般使用kafka都是在spring中使用，所以我就直接引入spring的kafka作为演示<dependency>
<groupId>org.springframework.kafk
转载
2024-06-28 12:56:29
56阅读
kafka 设计概要 吞吐量/延时 消息持久化 负载均衡和故障转移 伸缩性 一些常用命令通过GetOffsetShell 工具类查看 topic 分区消息 ./kafka-run-class.sh k
转载
2024-09-01 22:37:20
313阅读
kafka 可视化 查看 lag、offsethttps://github.com/xaecbd/KafkaCenter/tree/v2.3.0
yum -y install maven
git clone https://github.com/xaecbd/KafkaCenter.git
导入 table_script.sql
cd KafkaCenter
mvn clean package
转载
2023-07-03 21:20:09
238阅读
文章目录Kafka 核心技术与实战客户端实践及原理剖析22 | 消费者组消费进度监控都怎么实现？Kafka 自带命令Kafka Java Consumer APIKafka JMX 监控指标 Kafka 核心技术与实战客户端实践及原理剖析22 | 消费者组消费进度监控都怎么实现？对于 Kafka 消费者来说，最重要的事情就是监控它们的消费进度，或者说是监控它们消费的滞后程度。这个滞后程度有个专门
转载
2024-03-13 09:50:19
36阅读
早在十几天前，我就看到了 B 站发的那篇解释一年前网站崩溃的文章。当时的第一反应是时间过得真快，总觉得 B 站崩了仿佛在昨日，脑子里还能浮现当时热闹的微博和朋友圈的画面。根据当时的场景，我分析的原因是 CDN 出了问题，流量都直接打到后面，由于晚上流量高峰，一下子流量太大就挂了，虽然有多活，但是可能挂了之后因为又上了热搜，导致大家都想去看看热闹，于是乎雪上加霜，导致一系列联动挂了。不过如果仅仅是这
转载
2024-10-03 11:53:25
18阅读
目录七、稳定性1、幂等性2、事务3、控制器4、可靠性保证5、一致性保证6、消息重复的场景及解决方案1、生产者端重复2、消费者端重复1、根本原因7、_consumer_offsets1、何时创建2、解析分区 七、稳定性kafka的消息传输保障机制非常直观。当producer向broker发送消息时，一旦这条消息被commit，由于副本机制（replication）的存在，他就不会丢失。但是如果pr
转载
2024-07-30 08:34:53
112阅读
11、LEO、LSO、AR、ISR、HW 都表示什么含义?LEO:Log End Offset。日志末端位移值或末端偏移量，表示日志下一条待插入消息的 位移值。举个例子，如果日志有 10 条消息，位移值从 0 开始，那么，第 10 条消息的位 移值就是 9。此时，LEO = 10。LSO:Log Stable Offset。这是 Kafka 事务的概念。如果你没有使用到事务，那么这个 值不存在(其
转载
2024-03-18 18:34:03
190阅读
文章目录1、Kafka特性1.1 为什么要使用 kafka 或消息队列1.2 kafka 为什么那么快2、kafka集群搭建3、kafka客户端工具使用3.1 创建topic3.2 生产和消费3.3 性能测试4、Kafka原理4.3 Kafka中的重要概念4.2 leader与follower4.3 生产和消费工作流程5、kafka可靠性问题5.1 幂等性问题5.2 kafka事务5.3 如何保
转载
2024-02-29 09:52:48
13阅读
对于 Kafka 消费者来说，监控它们的消费进度非常的重要，或者说是监控它们消费的滞后程度。这个滞后程度有个专门的名称：消费者 Lag 或 Consumer Lag。所谓滞后程度，就是指消费者当前落后于生产者的程度。比方说，Kafka 生产者向某主题成 功生产了 100 万条消息，你的消费者当前消费了 80 万条消息，那么我们就说你的消费者滞后了 20 万条消息，即 Lag 等于 20 万。通常来
转载
2024-03-01 10:58:32
120阅读
在《Kafka的Lag计算误区及正确实现》一文中提及了kafka.admin.ConsumerGroupCommand.PartitionAssignmentState无法被外部访问，故要将PartitionAssignmentState前的protected修饰符去掉可以直接将describeGroup返回的结果转换成JSON然后传至监控页面（supportedbyYANGliiNoba）。代码
原创
2019-05-21 15:18:43
1106阅读
