kafka craft 尝鲜_zookeeper


1、Kafka-Kraft架构

kafka craft 尝鲜_zookeeper_02


左图为Kafka现有架构,元数据在zookeeper中,运行时动态选举controller,由controller进行Kafka集群管理。

右图为kraft模式架构(实验性),不再依赖zookeeper集群,而是用三台controller节点代替zookeeper,元数据保存在controller中,由controller直接进行Kafka集群管理。

这样做的好处有以下几个:

  • Kafka不再依赖外部框架,而是能够独立运行;
  • controller管理集群时,不再需要从zookeeper中先读取数据,集群性能上升;
  • 由于不依赖zookeeper,集群扩展时不再受到zookeeper读写能力限制;
  • controller不再动态选举,而是由配置文件规定。这样我们可以有针对性的加强controller节点的配置,而不是像以前一样对随机controller节点的高负载束手无策。

2、Kafka-Kraft集群

2.1 解压一份kafka安装包

[duo@hadoop01 software]$ tar -zxvf kafka_2.12-3.0.0.tgz -C /opt/data/

2.2 在hadoop01上修改config/kraft/server.properties配置文件

hadoop01:

kafka craft 尝鲜_kafka_03

hadoop02:

kafka craft 尝鲜_zookeeper_04

hadoop03:

kafka craft 尝鲜_zookeeper_05

2.3 分发kafka

[duo@hadoop01 data]$ xsync kafka_2.12-3.0.0/

在hadoop02和hadoop03上需要对node.id相应改变,值需要和controller.quorum.voters对应。

  • 在hadoop02和hadoop03上需要根据各自的主机名称,修改相应的advertised.Listeners地址。

2.4 初始化集群数据目录

(1)首先生成存储目录唯一ID。

[duo@hadoop01 kafka]$ bin/kafka-storage.sh random-uuid
IbY24Ky1Tjq-rUY6AMayxw

(2)用该ID格式化kafka存储目录(三台节点)。

[duo@hadoop01 kafka]$ bin/kafka-storage.sh format -t IbY24Ky1Tjq-rUY6AMayxw -c /opt/data/kafka_2.12-3.0.0/config/kraft/server.properties

[duo@hadoop02 kafka]$ bin/kafka-storage.sh format -t IbY24Ky1Tjq-rUY6AMayxw -c /opt/data/kafka_2.12-3.0.0/config/kraft/server.properties

[duo@hadoop03 kafka]$ bin/kafka-storage.sh format -t IbY24Ky1Tjq-rUY6AMayxw -c /opt/data/kafka_2.12-3.0.0/config/kraft/server.properties

kafka craft 尝鲜_zookeeper_06

2.5 启动kafka集群

[duo@hadoop01 kafka]$ bin/kafka-server-start.sh -daemon config/kraft/server.properties

[duo@hadoop02 kafka]$ bin/kafka-server-start.sh -daemon config/kraft/server.properties

[duo@hadoop03 kafka]$ bin/kafka-server-start.sh -daemon config/kraft/server.properties

kafka craft 尝鲜_hadoop_07

kafka craft 尝鲜_zookeeper_08

kafka craft 尝鲜_hadoop_09

2.6 停止kafka集群

[duo@hadoop01 kafka]$ bin/kafka-server-stop.sh
[duo@hadoop02 kafka]$ bin/kafka-server-stop.sh
[duo@hadoop03 kafka]$ bin/kafka-server-stop.sh

3、Kafka-Kraft集群启动停止脚本

1)在/home/duo/bin目录下创建文件kafka_craft.sh脚本文件

[duo@hadoop01 bin]$ vim kafka_craft.sh

脚本如下:

2)添加执行权限

[duo@hadoop01 bin]$ chmod +x kafka_craft.sh

3)启动集群命令

[duo@hadoop01 ~]$ kafka_craft.sh start

4)停止集群命令

[duo@hadoop01 ~]$ kafka_craft.sh stop

4、测试kafka-craft集群

创建topic:

kafka craft 尝鲜_kafka_10

生产数据:

kafka craft 尝鲜_hadoop_11

消费数据:

kafka craft 尝鲜_hadoop_12