Java消费Kafka集群数据

概述

在本篇文章中，我们将学习如何使用Java消费Kafka集群中的数据。首先，我们将介绍整个过程的流程图，然后逐步讲解每个步骤的具体实现。

流程图

flowchart TD
    A[创建Kafka消费者] --> B[订阅主题]
    B --> C[消费数据]

步骤1: 创建Kafka消费者

在Java中，需要使用Kafka提供的库来创建一个消费者实例。

// 导入所需的Kafka库
import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;

// 创建一个消费者实例
Properties props = new Properties();
props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "kafka服务器地址");
props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
props.put(ConsumerConfig.GROUP_ID_CONFIG, "消费者组ID");
KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

代码解释：

  • BOOTSTRAP_SERVERS_CONFIG 用于指定Kafka服务器的地址。
  • KEY_DESERIALIZER_CLASS_CONFIG 和 VALUE_DESERIALIZER_CLASS_CONFIG 用于指定键和值的反序列化器。
  • GROUP_ID_CONFIG 是消费者组的标识。

步骤2: 订阅主题

在Kafka中，消费者需要订阅一个或多个主题才能接收到数据。

// 订阅主题
consumer.subscribe(Collections.singletonList("要订阅的主题名称"));

代码解释：

  • subscribe 方法用于订阅一个或多个主题，这里我们通过 Collections.singletonList 方法只订阅一个主题。

步骤3: 消费数据

一旦消费者订阅了主题，就可以开始消费数据了。

// 消费数据
while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
    for (ConsumerRecord<String, String> record : records) {
        System.out.println("消费的数据：" + record.value());
    }
}

代码解释：

  • poll 方法用于从Kafka集群中拉取数据，参数为等待时间。
  • ConsumerRecord 表示从Kafka中消费到的一条数据，可以通过 value 方法获取数据的值。

完整示例代码

import org.apache.kafka.clients.consumer.ConsumerConfig;
import org.apache.kafka.clients.consumer.ConsumerRecord;
import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.KafkaConsumer;
import java.time.Duration;
import java.util.Collections;
import java.util.Properties;

public class KafkaConsumerExample {

    public static void main(String[] args) {
        // 创建一个消费者实例
        Properties props = new Properties();
        props.put(ConsumerConfig.BOOTSTRAP_SERVERS_CONFIG, "kafka服务器地址");
        props.put(ConsumerConfig.KEY_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(ConsumerConfig.VALUE_DESERIALIZER_CLASS_CONFIG, "org.apache.kafka.common.serialization.StringDeserializer");
        props.put(ConsumerConfig.GROUP_ID_CONFIG, "消费者组ID");
        KafkaConsumer<String, String> consumer = new KafkaConsumer<>(props);

        // 订阅主题
        consumer.subscribe(Collections.singletonList("要订阅的主题名称"));

        // 消费数据
        while (true) {
            ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100));
            for (ConsumerRecord<String, String> record : records) {
                System.out.println("消费的数据：" + record.value());
            }
        }
    }
}

类图

classDiagram
    class KafkaConsumer {
        +Properties props
        +KafkaConsumer(props: Properties)
        +subscribe(topics: List<String>)
        +poll(timeout: Duration): ConsumerRecords<String, String>
    }

以上是使用Java消费Kafka集群数据的完整流程。通过创建Kafka消费者、订阅主题和消费数据，我们可以轻松地接收到Kafka集群中的数据。希望这篇文章能对你有所帮助！