kafkajava连接

原创

mob64ca12f062df 2024-09-19 07:35:09 ©著作权

文章标签 kafka apache java 文章分类 Java 后端开发

©著作权归作者所有：来自51CTO博客作者mob64ca12f062df的原创作品，请联系作者获取转载授权，否则将追究法律责任

KafkaJava连接指南

在现代应用开发中，Apache Kafka 是一种流行的分布式消息中间件，用于处理实时数据流。在这篇文章中，我将逐步教你如何在 Java 应用程序中连接到 Kafka。首先，让我们看看整个流程，包括每个步骤所需的代码。

流程步骤

以下是连接到 Kafka 的步骤概要：

步骤	描述
1	添加 Kafka 依赖库
2	配置 Kafka 连接属性
3	创建 Kafka 生产者
4	发送消息到 Kafka
5	创建 Kafka 消费者
6	接收 Kafka 消息

步骤详解

1. 添加 Kafka 依赖库

通过 Maven 管理 Java 项目的依赖。如果你的项目还没有 Maven 支持，可以按照 Maven 的官方文档进行配置。然后在 pom.xml 中添加 Kafka 客户端的依赖：

<dependency>
    <groupId>org.apache.kafka</groupId>
    <artifactId>kafka-clients</artifactId>
    <version>3.4.0</version> <!-- 使用最新的版本 -->
</dependency>

这段代码告诉 Maven 下载 Kafka 客户端库的版本 3.4.0。

2. 配置 Kafka 连接属性

在你的 Java 代码中，使用 Properties 类来设置 Kafka 的连接属性：

import java.util.Properties;

Properties properties = new Properties();
properties.put("bootstrap.servers", "localhost:9092"); // Kafka 集群的地址
properties.put("key.serializer", "org.apache.kafka.common.serialization.StringSerializer"); // 消息键的序列化方式
properties.put("value.serializer", "org.apache.kafka.common.serialization.StringSerializer"); // 消息值的序列化方式

bootstrap.servers：指定 Kafka 集群的地址。
key.serializer 和 value.serializer：指定用于键和值的序列化器，这里我们使用 String 类型。

3. 创建 Kafka 生产者

创建一个 Kafka 生产者实例：

import org.apache.kafka.clients.producer.KafkaProducer;

KafkaProducer<String, String> producer = new KafkaProducer<>(properties);

这段代码初始化一个新的 Kafka 生产者对象。

4. 发送消息到 Kafka

一旦创建了生产者，你就可以发送消息了：

import org.apache.kafka.clients.producer.ProducerRecord;

ProducerRecord<String, String> record = new ProducerRecord<>("my-topic", "key", "Hello Kafka");
producer.send(record);
producer.close(); // 发送完消息后关闭生产者

ProducerRecord 包含了要发送到 Kafka 的主题（topic）、消息键以及消息值。
通过调用 send 方法将消息发送到 Kafka，完成后记得关闭生产者。

5. 创建 Kafka 消费者

同样，我们使用 Properties 类来配置 Kafka 消费者：

properties.put("group.id", "my-group"); // 消费者组 ID
properties.put("key.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); // 消息键的反序列化方式
properties.put("value.deserializer", "org.apache.kafka.common.serialization.StringDeserializer"); // 消息值的反序列化方式

KafkaConsumer<String, String> consumer = new KafkaConsumer<>(properties);
consumer.subscribe(Collections.singletonList("my-topic")); // 订阅主题

group.id 用于标识消费者组，多个消费者可以分享同一个组的消息。
subscribe 方法让消费者订阅指定的主题。

6. 接收 Kafka 消息

创建一个循环来接收消息：

import org.apache.kafka.clients.consumer.ConsumerRecords;
import org.apache.kafka.clients.consumer.ConsumerRecord;

while (true) {
    ConsumerRecords<String, String> records = consumer.poll(Duration.ofMillis(100)); // 每100ms拉取一次消息
    for (ConsumerRecord<String, String> record : records) {
        System.out.printf("Consumed message: key = %s, value = %s%n", record.key(), record.value());
    }
}

poll 方法用于拉取新消息，如果没消息则会阻塞 100 毫秒。
在循环中，我们逐条处理从 Kafka 拉取的消息。

状态图

以下是 Kafka 连接的状态图，展示了生产者和消费者的工作流程：

stateDiagram
    direction LR
    state Producer {
        [*] --> Init
        Init --> Create_Producer
        Create_Producer --> Send_Message
        Send_Message --> Close_Producer
    }
    
    state Consumer {
        [*] --> Init
        Init --> Create_Consumer
        Create_Consumer --> Subscribe
        Subscribe --> Receive_Message
    }