kafka java一个消费者消费一个分区

原创

mob64ca12e676c8 2024-12-31 05:34:05 ©著作权

文章标签 kafka apache Java 文章分类 Java 后端开发

©著作权归作者所有：来自51CTO博客作者mob64ca12e676c8的原创作品，请联系作者获取转载授权，否则将追究法律责任

Kafka Java 消费者消费一个分区的实现

在实现高效的消息处理系统时，Apache Kafka 是一个非常流行的选择。它能够处理大量数据，且具备高可用性和可扩展性。本文将介绍如何使用 Java 编写一个 Kafka 消费者，使其能够从特定分区消费消息，并提供相应的代码示例。

什么是 Kafka 消费者？

Kafka消费者是从 Kafka 主题中读取数据的客户端。每个消费者都属于一个消费者组，消费者组内的每个消费者负责处理不同的分区，以提高吞吐量和并发性。

消费者与分区的关系

在 Kafka 中，主题可以分为多个分区。在一个消费者组中，消费者会被分配到不同的分区上。为了确保消息被按顺序消费，我们通常会将每个消费者与一个特定的分区绑定。

下面的序列图展示了消费者从分区读取消息的流程：

sequenceDiagram
    participant C as Consumer
    participant P as Partition
    participant K as Kafka Broker

    C->>K: Request messages from partition
    K->>P: Retrieve messages from partition
    P-->>K: Send messages to Kafka Broker
    K-->>C: Deliver messages to consumer

实现示例

以下是一个简单的示例演示了如何使用 Java 创建一个 Kafka 消费者并消费某个特定分区的消息。

Maven 依赖

首先，确保在你的 Maven 项目的 pom.xml 中添加 Kafka 的依赖：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>3.4.0</version>
</dependency>

创建消费者

接下来，我们编写一个 Java 类，实现 Kafka 消费者的逻辑。以下是代码示例：

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.common.serialization.StringDeserializer;

import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class SinglePartitionConsumer {
    private static final String TOPIC = "your_topic";
    private static final String BOOTSTRAP_SERVERS = "localhost:9092"; // Kafka Broker地址
    private static final int PARTITION = 0; // 你想消费的分区

    public static void main(String[] args) {
        // 配置消费者属性
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, BOOTSTRAP_SERVERS);
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "your_group_id");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, StringDeserializer.class.getName());
        props.put(ConsumerConfig.ENABLE_AUTO_COMMIT_CONFIG, "false"); // 手动提交偏移量
        props.put(ConsumerConfig.AUTO_OFFSET_RESET_CONFIG, "earliest"); // 从最早的消息开始消费

        // 创建Kafka消费者
        try (KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props)) {
            // 订阅指定分区
            consumer.assign(Collections.singletonList(new org.apache.kafka.common.TopicPartition(TOPIC, PARTITION)));

            while (true) {
                // 拉取数据
                ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
                for (ConsumerRecord<String, String> record : records) {
                    System.out.printf("Consumed message: key = %s, value = %s from partition = %d, offset = %d%n", 
                                      record.key(), record.value(), record.partition(), record.offset());
                }
                // 手动提交偏移
                consumer.commitSync();
            }
        } catch (Exception e) {
            e.printStackTrace();
        }
    }
}