一、
消费者消费消息的offset记录机制 每个consumer会定期将自己消费分区的offset提交给kafka内部topic：
__consumer_offsets
，提交过去的时候，
key是consumerGroupId+topic+分区号，value就是当前offset的值
，kafka会定期清理topic里的消息，最后就保留最新的那条
转载
2024-05-20 22:35:34
346阅读
Kafka Topic创建topicbin/kafka-topics.sh --zookeeper localhost:2181 --create --topic my-topic --partitions 3 --replication-factor 3 --config max.message.bytes=64000 --config flush.messages=1查看topicbin/
转载
2024-08-07 08:57:40
176阅读
上一节中，我们完成了Kafka集群的搭建，本节中我们将介绍0.9版本中的新API，以及Kafka集群高可用性的测试 1. 使用Kafka的Producer API来完成消息的推送 1) Kafka 0.9.0.1的java client依赖： <dependency>
<groupId>org.apache.kafka</groupId&
转载
2024-04-15 14:17:42
36阅读
Kafka拓扑结构1.producer： 消息生产者，发布消息到 kafka 集群的终端或服务。 2.broker： kafka 集群中包含的服务器。 3.topic： 每条发布到 kafka 集群的消息属于的类别，即 kafka 是面向 topic 的。 4.partition： partition 是物理上的概念，每个 topic 包含一个或多个 partitio
转载
2024-02-09 16:58:36
56阅读
Topic 的配置与组成 之前我们仅主要介绍了Kafka Producer与Kafka Consumer 的相关配置，而未详细介绍过有关topic的配置。Topic的配置在Kafka 使用中也至关重要，因为它的参数足以影响集群性能以及topic 的行为。在一个topic被创建后，会有它默认的参数，不过有些topic的参数可能仍需要根据实际情况进行一些调整，例如：Replication F
转载
2023-09-13 16:37:35
330阅读
apache kafka中topic级别配置1.topic级别配置用法配置topic级别参数时，相同(参数)属性topic级别会覆盖全局的，否则默认为全局配置属性值。创建topic参数可以设置一个或多个--config "Property(属性)",下面是创建一个topic名称为"my-topic"例子，它设置了2个参数max message size 和 flush rate:1) 创建topi
转载
2023-12-09 18:17:22
221阅读
pom<dependencies>
<!-- https://mvnrepository.com/artifact/org.apache.kafka/kafka-clients -->
<dependency>
<groupId>org.apache.kafka</groupId>
转载
2024-07-18 12:48:40
39阅读
Kafka 位移主题位移格式创建位移提交位移删除位移 Kafka 的内部主题 (Internal Topic) : __consumer_offsets (位移主题，Offsets Topic)老 Consumer 会将位移消息提交到 ZK 中保存当 Consumer 重启后，能自动从 ZK 中读取位移数据，继续消费上次位置Broker 不用保存位移数据，减少 Broker 开销但 ZK 不适合
转载
2024-03-31 17:05:24
129阅读
一、Kafka中Topic的操作kafka集群安装好了以后我们就想向kafka中添加一些数据 想要添加数据首先需要创建topic 那接下来看一下针对topic的一些操作新增Topic：指定2个分区，2个副本，注意：副本数不能大于集群中Broker的数量因为每个partition的副本必须保存在不同的broker，否则没有意义，如果partition的副本都保存在同一个broker，那么这个brok
转载
2023-08-18 09:52:52
1967阅读
本文作者：明成Kafka是最初由Linkedin公司开发，是一个分布式、支持分区的(partition)、多副本的(replica)，基于zookeeper协调的分布式消息系统。它的最大的特性就是可以实时的处理大量数据以满足各种需求场景：比如基于hadoop的批处理系统、低延迟的实时系统、storm/spark流式处理引擎，web/nginx日志、访问日志，消息服务等等，用scala语言编写，Li
转载
2024-08-04 14:29:24
18阅读
Kafka基本概念Producer: 消息和数据的生产者，向kafka的一个topic发布消息的进程、代码、服务。Consumer:消息和数据的消费者，订阅数据并且处理器发布的消息的进程、代码、服务。Consumer Group:逻辑概念，对于同一个topic，会广播给不同的group，一个group中，只有一个consumer可以消费该消息。Broker：物理概念，kafka集群中每个kafka
转载
2024-03-21 10:33:13
1026阅读
1.大体流程kafka 新建topic，zk和raft是两套代码有点大的区别。单节点和集群有一些细微的区别。 2.代码流程zk集群创建topic大体流程，这里创建一个名为 flinkin-30 的主题，分区设置为2，使用zk部署的集群：(1)客户端创建主题请求处理入口，如果当前节点是Controller则处理zk写入，否则转到到Controller进行处理。最终会执行zk写入。KafkaApis
转载
2023-11-04 17:04:09
183阅读
如何在kafka中创建topic在使用kafka发送消息和消费消息之前，必须先要创建topic，在kafka中创建topic的方式有以下3种：如果kafka broker中的config/server.properties配置文件中配置了auto.create.topics.enable参数为true（默认值就是true），那么当生产者向一个尚未创建的topic发送消息时，会自动创建一个num.p
转载
2024-02-11 14:15:59
164阅读
执行 windows 脚本 kafka-topics.bat --create --zookeeper localhost:2181/kafka-zhang --replication-factor 1 --partitions 1 --topic zhang 命令行程序，获取 broker 元数据
原创
2022-11-15 15:10:08
697阅读
一、基本概念1.Broker：
消息中间件所在的服务器
2.Topic：（主题）
kafka发送消息必须指定的主题
3.Partition（分区）
Partition是物理上的概念，体现在磁盘上面，每个Topic包含一个或多个Partition
4.Producer（生产者）
负责发布消息到Kafka broker
5.Consumer（消费者）
消息消费者，向Kafka broker
转载
2024-02-12 20:17:47
987阅读
springboot集成kafka实战项目，kafka生产者、消费者、创建topic，指定消费分区前言本项目代码可直接集成到你现有的springboot项目中。功能包括： 1.kafka生产者配置。 2.kafka消费者配置。(指定分区消费） 3.kafka topic配置。工具：1.windows环境下kafka_2.12-2.8.0。 2.offsetexplorer.exe kafkaToo
转载
2023-09-02 22:12:41
1439阅读
Topic级别参数设置：如果同时设置了topic级别参数和全局broker参数，topic级别参数会覆盖全局broker参数的值，而每个topic都能设置自己的参数值，这就是所谓的topic级别参数。这样做的好处是不同部门的topic根据业务自身需要，设置自己的留存时间。retention.ms:规定了该topic消息被保存的时长。默认是7天，即该topic只保存最近7天的消息。一旦设置了这个值，
转载
2023-12-17 14:53:21
166阅读
Kafka创建topic
原创
2022-09-03 00:55:59
484阅读
目录1.什么是Topic2.什么是Partition3.Consumer Group 消费者组4.Topic 和 Partition 的存储5.producer消息分发策略6.消费者如何消费指定分区消息 topic 是逻辑上的概念，而
partition
是物理上的概
转载
2024-04-23 13:19:32
3398阅读
点赞
Step 1：创建项目直接通过 Spring 官方提供的 Spring Initializr 创建或者直接使用 IDEA 创建皆可。 Step 2：配置 Kafka通过 application.yml 配置文件配置 Kafka 基本信息。server:port: 9090spring:kafka:consumer: bootstrap-servers: localhost:9092
转载
2024-03-22 10:24:05
293阅读
