kafkai 教程 kafka实战教程

转载

架构领航员 2024-02-26 07:21:41

文章标签 kafkai 教程 kafka kfka集群搭建 kafka集群中间件 文章分类 架构后端开发

一、集群搭建

二、容错性测试

三、集群消费

//注，本文接《kafka的安装和基本使用》，可以在我的博客中看到^_^

一、集群搭建

对于kafka来说，一个单独的Broker意味着kafka集群中只有一个节点。要想增加kafka集群中的节点数量，只需要多启动几个Broker实例即可。为了有更好的理解，现在我们在一台机器上同时启动三个Broker实例。

首先，我们需要建立好其他2个Broker的配置文件：

cp config/server.properties config/server-1.properties
cp config/server.properties config/server-2.properties

kafkai 教程 kafka实战教程_kafkai 教程

配置文件的需要修改的内容分别如下：vim config/server-1.properties

#broker.id属性在kafka集群中必须要是唯一
broker.id=1
#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://192.168.3.33:9093 
#使用不同的日志名，因为集群搭建在同一台机器上，需要避免日志覆盖  
log.dir=/usr/local/data/kafka-logs-1
#kafka连接zookeeper的地址，要把多个kafka实例组成集群，对应连接的zookeeper必须相同
zookeeper.connect=192.168.65.60:2181

vim config/server-2.properties

broker.id=2
listeners=PLAINTEXT://192.168.3.33:9094
log.dir=/usr/local/data/kafka-logs-2
zookeeper.connect=192.168.65.60:2181

目前我们已经有一个zookeeper实例和一个Broker实例在运行了，现在我们只需要在启动2个Broker实例即可：//在之前的博客中，我已经启动过一个实例

#bin/kafka-server-start.sh -daemon config/server.properties
bin/kafka-server-start.sh -daemon config/server-1.properties
bin/kafka-server-start.sh -daemon config/server-2.properties

查看zookeeper确认集群节点是否都注册成功：//这些命令在之前博客都有介绍

cd zookeeper
bin/zkCli.sh
ls /brokers/ids

kafkai 教程 kafka实战教程_kafkai 教程_02

可以看到三个Broker的信息。//也可以使用jps命令看进程

kafkai 教程 kafka实战教程_中间件_03

现在我们进入kafka，创建一个新的Topic，副本数设置为3，分区数设置为2：

bin/kafka-topics.sh --create --zookeeper 192.168.3.33:2181 --replication-factor 3 --partitions 2 --topic my-replicated-topic

查看下Topic的情况

bin/kafka-topics.sh --describe --zookeeper 192.168.3.33:2181 --topic my-replicated-topic

kafkai 教程 kafka实战教程_kfka集群搭建_04

以下是输出内容的解释，第一行是所有分区的概要信息，之后的每一行表示每一个Partition的信息。

Leader节点负责给定Partition的所有读写请求。
Replicas表示某个Partition在哪几个Broker上存在备份。不管这个几点是不是”Replicas“，甚至这个节点挂了，也会列出。
Isr是Replicas的一个子集，它只列出当前还存活着的，并且已同步备份了该Partition的节点。

关于3个Replicas备份，我们在日志文件中都可以看到

kafkai 教程 kafka实战教程_kafka集群_05

现在我们向新建的 my-replicated-topic 中发送一些message，kafka集群可以加上所有kafka节点：

bin/kafka-console-producer.sh --broker-list 192.168.3.33:9092,192.168.3.33:9093,192.168.3.33:9094 --topic my-replicated-topic
>my test msg 1
>my test msg 2

现在开始消费：

bin/kafka-console-consumer.sh --bootstrap-server 192.168.3.33:9092,192.168.3.33:9093,192.168.3.33:9094 --from-beginning --topic my-replicated-topic
my test msg 1
my test msg 2

二、容错性测试

现在我们来测试我们容错性，因为Broker0目前是 my-replicated-topic 的分区 1 的Leader，所以我们要将其kill

ps -ef | grep server.properties   #根据配置文件来筛选Broker
kill -9 8503

现在再执行命令：

bin/kafka-topics.sh --describe --zookeeper 192.168.3.33:2181 --topic my-replicated-topic

kafkai 教程 kafka实战教程_kafka_06

我们可以看到，分区 1 的Leader节点已经变成了Broker1。要注意的是，在Isr中，已经没有了0号节点。Leader的选举也是从ISR(in-sync replica)中进行的。

此时，我们依然可以消费新消息：

bin/kafka-console-consumer.sh --bootstrap-server 192.168.3.33:9092,192.168.3.33:9093,192.168.3.33:9094 --from-beginning --topic my-replicated-topic
my test msg 1
my test msg 2

// 做这个测试时有一个坑，否则如果集群中有节点挂掉，消费端将会被阻塞。

// 尝试以下方解决方法无效——继续尝试中...，有好方法请@我，谢谢

kafkai 教程 kafka实战教程_中间件_07

进入ZK，查看主题分区对应的Leader信息：

bin/zkCli.sh
get /brokers/topics/my-replicated-topic/partitions/1/state

kafkai 教程 kafka实战教程_kafka集群_08

kafka将很多集群关键信息记录在zookeeper里，保证自己的无状态，从而在水平扩容时非常方便。

三、集群消费

Log的Partitions分布在kafka集群中不同的Broker上，每个Broker可以请求备份其他Broker上Partition上的数据。kafka集群支持配置一个Partition备份的数量。

针对每个Partition，都有一个Broker起到“Leader”的作用，0个或多个其他的Broker作为“Follwers”的作用。Leader处理所有的针对这个Partition的读写请求，而Followers被动复制Leader的结果，不提供读写(主要是为了保证多副本数据与消费的一致性)。如果这个Leader失效了，其中的一个Follower将会自动的变成新的Leader。

Producers

生产者将消息发送到Topic中去，同时负责选择将message发送到Topic的哪一个Partition中。通过round-robin做简单的负载均衡。也可以根据消息中的某一个关键字来进行区分。通常第二种方式使用的更多。

Consumers

传统的消息传递模式有2种：队列(queue)/单播和(publish-subscribe)/订阅