kafka python 生产者消费者

原创

mob649e8167c4a3 2023-09-05 04:58:28 ©著作权

文章标签 kafka bootstrap Python 文章分类 Python 后端开发

©著作权归作者所有：来自51CTO博客作者mob649e8167c4a3的原创作品，请联系作者获取转载授权，否则将追究法律责任

Kafka Python 生产者消费者

简介

Apache Kafka是一种高性能、分布式流处理平台，广泛应用于大数据场景中。它基于发布/订阅模式，通过将数据以消息的形式进行传输，在数据的生产者和消费者之间建立起可靠的通信。Kafka提供了多种编程语言的客户端，其中Python是最受欢迎的之一。

在本文中，我们将探讨如何使用Python编写Kafka的生产者和消费者，并提供一些实际的代码示例。

Kafka 生产者

Kafka生产者是将数据发送到Kafka集群的客户端。它负责将待发送的消息封装成消息记录，并将其写入到Kafka的一个或多个主题中。下面是一个简单的Kafka生产者示例：

from kafka import KafkaProducer

# 创建Kafka生产者
producer = KafkaProducer(bootstrap_servers='localhost:9092')

# 发送消息到指定主题
producer.send('my_topic', b'Hello, Kafka!')

# 关闭生产者
producer.close()

在上面的示例中，我们首先通过指定Kafka集群的地址来创建一个Kafka生产者。然后，我们使用send()方法将消息发送到名为my_topic的主题中。最后，我们关闭生产者以释放资源。

Kafka 消费者

Kafka消费者是从Kafka集群中读取数据的客户端。它负责订阅一个或多个主题，并从每个主题中读取消息记录。下面是一个简单的Kafka消费者示例：

from kafka import KafkaConsumer

# 创建Kafka消费者
consumer = KafkaConsumer('my_topic', bootstrap_servers='localhost:9092')

# 从主题中读取消息
for message in consumer:
    print(message.value.decode())

# 关闭消费者
consumer.close()

在上面的示例中，我们首先通过指定Kafka集群的地址和要订阅的主题来创建一个Kafka消费者。然后，我们使用一个循环来从主题中读取消息，并将其打印出来。最后，我们关闭消费者以释放资源。

完整示例

下面是一个完整的示例，演示了如何使用Kafka生产者和消费者来实现一个简单的消息队列：

from kafka import KafkaProducer, KafkaConsumer, TopicPartition
from threading import Thread

# 创建Kafka生产者
producer = KafkaProducer(bootstrap_servers='localhost:9092')

# 创建Kafka消费者
consumer = KafkaConsumer('my_topic', bootstrap_servers='localhost:9092')

# 定义消息处理函数
def process_message(message):
    print(message.value.decode())

# 定义生产者线程
def produce():
    while True:
        # 发送消息到指定主题
        producer.send('my_topic', b'Hello, Kafka!')

# 定义消费者线程
def consume():
    for message in consumer:
        process_message(message)

# 创建生产者线程并启动
producer_thread = Thread(target=produce)
producer_thread.start()

# 创建消费者线程并启动
consumer_thread = Thread(target=consume)
consumer_thread.start()

在上面的示例中，我们首先创建了一个Kafka生产者和一个Kafka消费者。然后，我们定义了一个消息处理函数process_message()，用于处理从主题中读取的消息。接下来，我们创建了一个生产者线程和一个消费者线程，并分别启动它们。

通过以上代码，我们实现了一个简单的消息队列，生产者不断地发送消息到主题中，而消费者不断地从主题中读取消息并进行处理。