一、kafka的重要概念
1. kafka 分为 Producer、Consumer、Broker，基于topic发布与订阅消息。
2. 一个topic可以分多个partition,每个partition可以分布在不同的broker中。
3. 物理存储主要依赖partition。
4. 每个totic可以设置 Replications，因此物理
转载
2024-08-07 09:34:37
9阅读
Consumer 端有个位移的概念
它和消息在分区中的位移不是一回事儿 Consumer 的消费位移，它记录了 Consumer 要消费的下一条消息的位移。这可能和你以前了解的有些出入，不过切记是下一条消息的位移，而不是目前最新消费消息的位移Consumer 需要向 Kafka 汇报自己的位移数据，这个汇报过程被称为提交位移（Committing Offsets）
因为 Consumer
转载
2023-12-12 20:46:23
378阅读
错误原因： kafka设置了自动提交，但在规定的提交时间之内却没有处理完消息，导致消息自动提交出错，这样还会引发一个问题，就是当提交的消息不成功，kafka有重试机制，这样就会重新消费该消息，但消费又不成功，这样循环，会导致后面的消息堆积过多。解决办法： &n
转载
2024-03-20 20:06:36
59阅读
一、Kafka的消费位移 Consumer 端有个位移的概念，它和消息在分区中的位移不是一回事儿，虽然它们的英文都是 Offset。它记录了Consumer 要消费的下一条消息的位移。这可能和你以前了解的有些出入，不过切记是下一条消息的位移，而不是目前最新消费消息的位移。Consumer 需要向 Kafka 汇报自己的位移数据，这个汇报过程被称为提交位移。从用户的角度来说，位移提交分为自动提交和
转载
2023-12-26 14:12:16
91阅读
项目场景：项目中，使用到了kafka作为消息中间件，项目作为消费端，消费消息并进行业务处理问题描述在实际应用的过程中，发现偶尔但是一直存在的，有消费数据报：org.apache.kafka.clients.consumer.CommitFailedException: Commit cannot be completed since the group has already rebalanced
转载
2024-04-23 17:03:11
38阅读
今天在服务日志中观察数据的消费情况时，发现了一个如下的警告，而且每隔几秒就会出现一次，虽然只是个警告， Auto offset commit failed for group order_group:
Commit cannot be completed since the group has already rebalanced and assigned the partition
转载
2024-04-03 20:59:56
175阅读
生产环境偶尔会遇到kafka消费者程序日志报错的问题截取主要日志如下：2023-10-02 19:35:28.554 {trace: d7f97f70dd693e3d} ERROR[Thread-49:137] ConsumerCoordinator$OffsetCommitResponseHandler.handle(812) - [Consumer clientId=consumer-1, g
转载
2024-06-05 20:40:44
91阅读
一、背景 项目中有一个需求，是通过消费kafka的消息来处理数据，但是想要实现延迟消费的效果，于是想到了是否可以自己管理kafka的commit来实现，就是通过设置`enable.auto.commit`为False，预期是如果消费到了消息，但是不commit，kafka就会重新把消息放回队列，后续
转载
2019-12-27 01:03:00
374阅读
2评论
Kafka是一个开源的分布式消息系统，被广泛应用于日志收集、流式处理、消息队列等场景。在使用Kafka时，我们经常会涉及到一些配置参数，其中一个常用的参数就是```enable.auto.commit```。本文将详细介绍如何在Kafka中设置```enable.auto.commit```参数，以及该参数的作用和影响。
### 什么是```enable.auto.commit```参数？
在
原创
2024-05-24 10:01:53
293阅读
Kafka Auto-commit-interval in Kubernetes
Kubernetes (K8S) is a powerful tool for managing containerized applications at scale. In this article, we will dive into how to configure the auto-commit inte
原创
2024-04-25 11:08:04
141阅读
今天在使用python消费kafka时遇到了一些问题， 特记录一下。场景一、特殊情况： 单独写程序只用来生产消费数据开始时间： 10：42Topic: t_facedecPartition: 1程序启动： 168 启动consumer, 158启动consumer, windows机器producer推数据运行时长： 15分钟结果：1、168的cons
转载
2023-10-01 11:19:39
278阅读
场景一: 因为处理时间超过 max.poll.interval.ms 所设定的时间. 简化你的消息处理逻辑。具体来说有 4 种方法:缩短单条消息处理的时间。比如，之前下游系统消费一条消息的时间是 100 毫秒，优化之后成功地下降到 50 毫秒，那么此时 Consumer 端的 TPS 就提升了一倍。增加 Consumer 端允许下游系统消费一批消息的最大时长。这取决
转载
2024-03-19 02:02:57
40阅读
前言理解一下Kafka的读的自动提交功能。找到了一篇专门介绍这个功能的文章，选择主要的内容进行一下翻译和做笔记。自动提交参数auto.commit的设置Understanding the ‘enable.auto.commit’ Kafka Consumer propertyKafka Consumers read messages from a Kafka topic, its not
转载
2024-05-22 09:38:18
118阅读
Kafka可以配置自动提交，在每一次poll拉取数据时提交上一次消费的offset。@Override public ConsumerRecords<K, Vy { if (timeout < 0) ...
原创
2022-11-11 12:11:42
295阅读
一、含义CommitFailedException异常：位移提交失败时候抛出的异常。通常该异常被抛出时还会携带这样的一段话：Commit cannot be completed since the group has already rebalanced and assigned the partitions to another member. This means that the time
转载
2024-03-18 18:33:46
242阅读
事件描述公司使用的是Spring Cloud工作的微服务框架。其中做了SpringBoot和kafka的结合。但是意外的是enable.auto.commit参数设置成了false，kafka的offset依然提交了（也没有进行人工提交offset）。为了验证这个是否为真实情况，首先测试环境启动项目，enable.auto.commit设置为false。首先记录测试topic的偏移量和logsiz
转载
2024-06-02 22:58:37
198阅读
这是一个jsp写的目录查看器
转载
精选
2010-10-16 19:01:30
275阅读
安装Storm1. 下载Storm，选择一个0.9版本，解压到指定目录（所有机器）。http://storm-project.net/downloads.
转载
2022-09-05 15:04:51
126阅读
今天我来跟你聊聊 CommitFailedException 异常的处理。说起这个异常，我相信用过 Kafka Java Consumer 客户端 API 的你一定不会感到陌生。所谓 CommitFailedException，顾名思义就是 Consumer 客户端在提交位移时出现了错误或异常，而且还是那种不可恢复的严重异常。如果异常是可恢复的瞬时错误，提交位移的 API 自己就能规避它们了，
转载
2024-03-16 13:08:51
53阅读
kafka基础： (1)kafaka与其他的消息系统一样，发送的也是序列化的对象，比如String，和经过序列化处理的对象 (2)消息类型： Queue：队列， 点对点的消息类型 topic：主题，群发消息 (3)消息系统： 同步消息：得有返回值才能继续往下执行 异步消息：不需要等待返回值就可以继续往下执行 对于kafka创建同步消息还是异步消息其实很简单，就是创建发送消息的时候有没有返回Futu
转载
2024-03-28 04:19:57
63阅读
