上一讲说 --describe 可以省略 --topic ,没有报错,这里看看两者区别

python kafka 生产和消费消息 kafka如何生产和消费消息_kafka

不加 --topic 实际列出了所有 topic 的信息,虽然指定了 forthTopic 但实际没有起到作用,和省略 forthTopic 是一样的。

因此,要查看特定的 topic 信息,建议加上 --topic 

使用 kafka-console-producer 生产消息

 kafka-console-producer 是 kafka 提供的生产消息的控制台。

./kafka-console-producer.sh --broker-list 42.194.203.96:9092 --topic thirdTopic

python kafka 生产和消费消息 kafka如何生产和消费消息_bootstrap_02

由之前的 kafka 架构图可以知道,生产者是往 kafka 集群写消息的,kafka 服务的端口是 9092,从而。

这行命令可以理解为:

--broker-list :指定要连接的 kafka broker(推荐换成 --bootstrap-server

--topic:指定要写入的 topic

看看 kafka-console-producer 的用法:

python kafka 生产和消费消息 kafka如何生产和消费消息_bootstrap_03

因此以后推荐使用 --bootstrap-server 指定 kafka 服务的地址,虽然目前还可以使用。

等到出现 >就表示等待写入消息,试着写入  hello,kafka 进去。

python kafka 生产和消费消息 kafka如何生产和消费消息_zookeeper_04

使用 kafka-console-consumer 生产消息 

 kafka-console-consumer 是 kafka 提供的消费消息的控制台。

先看看 kafka-console-consumer 的用法。

python kafka 生产和消费消息 kafka如何生产和消费消息_bootstrap_05

可以看到  kafka-console-consumer 已经不提供 --zookeeper 和 --broker-list 参数了(0.9版本之前,消费者还将消息的 offset 存入 zookeeper,因此要连接 zookeeper 从 zookeeper 中拿数据,但是 0.9 之后就将消息的上下文信息都写回了 kafka 集群,因此考虑使用 --broker-list,但是消费者控制台已经将 --broker-list 丢弃了,换成了 --bootstrap-server)

因此以后 kafka-console-consumer 消费数据使用 --bootstrap-server 指定 kafka 服务的地址

ps:kafka 服务的端口是 9092,zookeeper 服务的端口是 2181,连接对应的服务注意使用不同的端口。

现在,使用 kafka-console-consumer 从对应的 topic 消费消息。

./kafka-console-consumer.sh --bootstrap-server 42.194.203.96:9092 --topic forthTopic

python kafka 生产和消费消息 kafka如何生产和消费消息_bootstrap_06

可以看到,消费者已经从 topic 中拿到了生产者生产的消息,如果想要拿到最开始的消息,还可以在消费者控制台后面加上参数 --from-beginning。

由于 0.9 版本以后消息的 offset 信息是存到 kafka 本地的,消费者需要连接到 kafka 获取信息,因此选择使用 9092 端口,于是,这个命令可以理解为:

--bootstrap-server :消费者消费数据需要连接到哪个个服务获取信息。

--topic :消费者要从哪个 topic 消费

遇到的坑

之前生产者启动成功,但是往 topic 写消息的时候就会报错。

python kafka 生产和消费消息 kafka如何生产和消费消息_kafka_07

无法解析对应的 host,也就是不知道 VM_0_12_centos 这个主机名或者服务。于是我试着 ping 了一下

python kafka 生产和消费消息 kafka如何生产和消费消息_zookeeper_08

ping ip 可以 ping 通,就是无法解析主机名

最后,修改 /etc/hosts 配置了 ip 和 hostname 的映射关系后,就可以用主机名 ping 通了。这里解决问题的关键是:如果要想两台计算机通信,/etc/hosts 里面必须互相含有对方的 ip 和 host 的映射。