Java kafka监听topic批量消费

原创

mob649e8156b567 2024-10-14 04:53:25 ©著作权

文章标签 kafka Java apache 文章分类 Java 后端开发

©著作权归作者所有：来自51CTO博客作者mob649e8156b567的原创作品，请联系作者获取转载授权，否则将追究法律责任

Java Kafka 监听 Topic 批量消费

引言

在现代分布式系统中，消息队列（MQ）是实现系统解耦的重要工具。其中，Apache Kafka 是一种广泛使用的流处理平台，广泛应用于数据管道、实时数据流处理等场景。本篇文章将介绍如何在 Java 中使用 Kafka 监听 Topic 进行批量消费，并附带相关代码示例。

Kafka 的基本概念

Kafka 是一个分布式的消息流平台，由多个主题（Topic）组成。每个主题可以有多个分区（Partition），每个分区是一个有序的、不变的消息序列。消费者（Consumer）根据主题的分区进行消息的消费。批量消费是指一次性从主题中读取多条消息，这样可以提高消费效率。

Kafka 的工作原理

在 Kafka 的架构中，消息的生产者（Producer）将消息发送到主题；而消费者会从主题中读取消息。我们可以通过配置来实现批量消费，具体包括设置每次读取的消息数量以及消费者的组（Consumer Group）等。

erDiagram
    Producer ||--o{ Topic : sends
    Topic ||--o{ Partition : contains
    Consumer ||--o{ Topic : subscribes
    ConsumerGroup ||--o{ Consumer : contains

环境准备

在进行 Kafka 消费之前，请确保你已经安装了 Kafka，并启动了它的服务。你还需要在你的 Java 项目中加入 Kafka 客户端的依赖。

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>3.5.0</version>
</dependency>

Java 中的 Kafka 批量消费者示例

以下是一个简单的 Java Kafka 批量消费者示例。该示例展示了如何从 Kafka 中读取多条消息：

代码示例

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class BatchConsumer {

    public static void main(String[] args) {
        // 创建消费者配置
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "localhost:9092");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "my-group");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "true");
        props.put(ConsumerConfig.AUTO_COMMIT_INTERVAL_MS_CONFIG, "1000");

        // 创建 Kafka 消费者
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);
        consumer.subscribe(Collections.singletonList("my-topic"));

        try {
            while (true) {
                // 批量消费设置：每次获取 10 条消息
                ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
                for (ConsumerRecord<String, String> record : records) {
                    System.out.printf("offset = %d, key = %s, value = %s%n", record.offset(), record.key(), record.value());
                }
            }
        } finally {
            consumer.close();
        }
    }
}