Kafka的安装笔记，单机与集群的概念

Kafka的安装

安装前的环境准备

　　【1】由于Kafka是用Scala语言开发的，运行在JVM上，因此在安装Kafka之前需要先安装JDK。

yum install java-1.8.0-openjdk* -y

　　【2】kafka依赖zookeeper，所以需要先安装zookeeper

wget https://archive.apache.org/dist/zookeeper/zookeeper-3.5.8/apache-zookeeper-3.5.8-bin.tar.gz
tar -zxvf apache-zookeeper-3.5.8-bin.tar.gz
cd  apache-zookeeper-3.5.8-bin
cp conf/zoo_sample.cfg conf/zoo.cfg

# 启动zookeeper
bin/zkServer.sh start
bin/zkCli.sh 
ls /            #查看zk的根目录相关节点

 

第一步：下载安装包

　　【1】下载2.4.1 release版本，并解压：

wget https://archive.apache.org/dist/kafka/2.4.1/kafka_2.11-2.4.1.tgz  # 2.11是scala的版本，2.4.1是kafka的版本
tar -xzf kafka_2.11-2.4.1.tgz
cd kafka_2.11-2.4.1

 

第二步：修改配置

　　【1】修改配置文件config/server.properties:

#broker.id属性在kafka集群中必须要是唯一
broker.id=0
#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://192.168.65.60:9092   
#kafka的消息存储文件
log.dir=/usr/local/data/kafka-logs
#kafka连接zookeeper的地址
zookeeper.connect=192.168.65.60:2181

 

第三步：启动服务

　　【1】启动脚本语法：kafka-server-start.sh [-daemon] server.properties

server.properties的配置路径是一个强制的参数，-daemon表示以后台进程运行，否则ssh客户端退出后，就会停止服务。
(注意，在启动kafka时会使用linux主机名关联的ip地址，所以需要把主机名和linux的ip映射配置到本地host里，用vim /etc/hosts)

　　【2】server.properties核心配置详解：

 

Property

Default

Description

broker.id

0

每个broker都可以用一个唯一的非负整数id进行标识；这个id可以作为broker的“名字”，你可以选择任意你喜欢的数字作为id，只要id是唯一的即可。

log.dirs

/tmp/kafka-logs

kafka存放数据的路径。这个路径并不是唯一的，可以是多个，路径之间只需要使用逗号分隔即可；每当创建新partition时，都会选择在包含最少partitions的路径下进行。

listeners

PLAINTEXT://192.168.65.60:9092

server接受客户端连接的端口，ip配置kafka本机ip即可

zookeeper.connect

localhost:2181

zooKeeper连接字符串的格式为：hostname:port，此处hostname和port分别是ZooKeeper集群中某个节点的host和port；zookeeper如果是集群，连接方式为 hostname1:port1, hostname2:port2, hostname3:port3

log.retention.hours

168

每个日志文件删除之前保存的时间。默认数据保存时间对所有topic都一样。

num.partitions

1

创建topic的默认分区数

default.replication.factor

1

自动创建topic的默认副本数量，建议设置为大于等于2

min.insync.replicas

1

当producer设置acks为-1时，min.insync.replicas指定replicas的最小数目（必须确认每一个repica的写数据都是成功的），如果这个数目没有达到，producer发送消息会产生异常

delete.topic.enable

false

是否允许删除主题

 

　　【3】示例

# 启动kafka，运行日志在logs目录的server.log文件里
bin/kafka-server-start.sh -daemon config/server.properties   #后台启动，不会打印日志到控制台
或者用
bin/kafka-server-start.sh config/server.properties &

# 我们进入zookeeper目录通过zookeeper客户端查看下zookeeper的目录树
bin/zkCli.sh 
ls /        #查看zk的根目录kafka相关节点
ls /brokers/ids    #查看kafka节点

# 停止kafka
bin/kafka-server-stop.sh

 

第四步：创建主题 

　　【1】创建一个名字为“test”的Topic，这个topic只有一个partition，并且备份因子也设置为1：

bin/kafka-topics.sh --create --zookeeper 192.168.65.60:2181 --replication-factor 1 --partitions 1 --topic test

　　【2】通过以下命令来查看kafka中目前存在的topic

bin/kafka-topics.sh --list --zookeeper 192.168.65.60:2181

　　【3】除了通过手工的方式创建Topic，当producer发布一个消息到某个指定的Topic，这个Topic如果不存在，就自动创建。

　　【4】删除主题

bin/kafka-topics.sh --delete --topic test --zookeeper 192.168.65.60:2181

 

第五步：发送消息

　　【1】kafka自带了一个producer命令客户端，可以从本地文件中读取内容，或者我们也可以以命令行中直接输入内容，并将这些内容以消息的形式发送到kafka集群中。在默认情况下，每一个行会被当做成一个独立的消息。

　　【2】运行发布消息的脚本，然后在命令中输入要发送的消息的内容：

//指定往哪个broker（也就是服务器）上发消息
bin/kafka-console-producer.sh --broker-list 192.168.65.60:9092 --topic test 
>this is a msg
>this is a another msg

 

第六步：消费消息

　　【1】对于consumer，kafka同样也携带了一个命令行客户端，会将获取到内容在命令中进行输出，默认是消费最新的消息：

bin/kafka-console-consumer.sh --bootstrap-server 192.168.65.60:9092 --topic test

　　【2】想要消费之前的消息可以通过--from-beginning参数指定，如下命令：

//这里便凸显了与传统消息中间件的不同，消费完，消息依旧保留（默认保留在磁盘一周）
bin/kafka-console-consumer.sh --bootstrap-server 192.168.65.60:9092 --from-beginning --topic test

　　【3】通过不同的终端窗口来运行以上的命令，你将会看到在producer终端输入的内容，很快就会在consumer的终端窗口上显示出来。

　　【4】所有的命令都有一些附加的选项；当我们不携带任何参数运行命令的时候，将会显示出这个命令的详细用法

执行bin/kafka-console-consumer.sh 命令显示所有的可选参数

 

消费消息类型分析

消费多主题

bin/kafka-console-consumer.sh --bootstrap-server 192.168.65.60:9092 --whitelist "test|test-2"

单播消费

类似queue模式，只需让所有消费者在同一个消费组里即可

　　【2】分别在两个客户端执行如下消费命令，然后往主题里发送消息，结果只有一个客户端能收到消息

bin/kafka-console-consumer.sh --bootstrap-server 192.168.65.60:9092  --consumer-property group.id=testGroup --topic test

多播消费

　　【1】一条消息能被多个消费者消费的模式，类似publish-subscribe模式费，针对Kafka同一条消息只能被同一个消费组下的某一个消费者消费的特性，要实现多播只要保证这些消费者属于不同的消费组即可。我们再增加一个消费者，该消费者属于testGroup-2消费组，结果两个客户端都能收到消息

bin/kafka-console-consumer.sh --bootstrap-server 192.168.65.60:9092 --consumer-property group.id=testGroup-2 --topic test

查看消费组名

bin/kafka-consumer-groups.sh --bootstrap-server 192.168.65.60:9092 --list

查看消费组的消费偏移量

bin/kafka-consumer-groups.sh --bootstrap-server 192.168.65.60:9092 --describe --group testGroup

//current-offset：当前消费组的已消费偏移量
//log-end-offset：主题对应分区消息的结束偏移量(HW)
//lag：当前消费组未消费的消息数

关于是否要用SSL

　　一般在内部使用不对外开放的是不怎么会去配账号和密码，因为配置登录认证和SSL会导致性能下降20%-30%。

kafka集群

kafka没有单机的概念，即便是一个节点也是集群，天生就是集群）

　　建立好其他2个broker的配置文件：

cp config/server.properties config/server-1.properties
cp config/server.properties config/server-2.properties

　　配置文件的需要修改的内容分别如下：

　　config/server-1.properties:

#broker.id属性在kafka集群中必须要是唯一
broker.id=1
#kafka部署的机器ip和提供服务的端口号
listeners=PLAINTEXT://192.168.65.60:9093   
log.dir=/usr/local/data/kafka-logs-1
#kafka连接zookeeper的地址，要把多个kafka实例组成集群，对应连接的zookeeper必须相同
zookeeper.connect=192.168.65.60:2181

　　config/server-2.properties:

broker.id=2
listeners=PLAINTEXT://192.168.65.60:9094
log.dir=/usr/local/data/kafka-logs-2
zookeeper.connect=192.168.65.60:2181

　　因为已经有一个zookeeper实例和一个broker实例在运行了，现在我需要再启动2个broker实例即可：

bin/kafka-server-start.sh -daemon config/server-1.properties
bin/kafka-server-start.sh -daemon config/server-2.properties

　　查看zookeeper确认集群节点是否都注册成功：

ls /brokers/ids

 

　　创建一个新的topic，副本数设置为3，分区数设置为2：

bin/kafka-topics.sh --create --zookeeper 192.168.65.60:2181 --replication-factor 3 --partitions 2 --topic my-replicated-topic

　　查看下topic的情况：

bin/kafka-topics.sh --describe --zookeeper 192.168.65.60:2181 --topic my-replicated-topic

 　　

java kafkaclient java kafkaclients里没有zk的包_java kafkaclient

　　以下是输出内容的解释，第一行是所有分区的概要信息，之后的每一行表示每一个partition的信息。

leader节点负责给定partition的所有读写请求，同一个主题不同分区leader副本一般不一样(为了容灾)
replicas 表示某个partition在哪几个broker上存在备份。不管这个几点是不是”leader“，甚至这个节点挂了，也会列出。
isr 是replicas的一个子集，它只列出当前还存活着的，并且已同步备份了该partition的节点。

　　说明：

　　　　因为指定了2个partition，且设定每个partition有3个副本（算上主副本）。在集群中针对topic为my-replicated-topic的，将partition散落在不同的broker中，则leader便是表明在哪个broker中进行写入，然后分发到副本。

　　向新建的 my-replicated-topic 中发送一些message，kafka集群可以加上所有kafka节点：

bin/kafka-console-producer.sh --broker-list 192.168.65.60:9092,192.168.65.60:9093,192.168.65.60:9094 --topic my-replicated-topic
>my test msg 1
>my test msg 2

　　开始消费：

bin/kafka-console-consumer.sh --bootstrap-server 192.168.65.60:9092,192.168.65.60:9093,192.168.65.60:9094 --from-beginning --topic my-replicated-topic
my test msg 1
my test msg 2

　　测试容错性，因为broker1目前是my-replicated-topic的分区0的leader，所以我们要将其kill

ps -ef | grep server.properties
kill 14776

　　再执行命令：

bin/kafka-topics.sh --describe --zookeeper 192.168.65.60:2181 --topic my-replicated-topic

          

java kafkaclient java kafkaclients里没有zk的包_java kafkaclient_02

　　我们可以看到，分区0的leader节点已经变成了broker 0。要注意的是，在Isr中，已经没有了1号节点。leader的选举也是从ISR(in-sync replica)中进行的。

　　此时依然可以消费新消息：

bin/kafka-console-consumer.sh --bootstrap-server 192.168.65.60:9092,192.168.65.60:9093,192.168.65.60:9094 --from-beginning --topic my-replicated-topic
my test msg 1
my test msg 2

kafka将很多集群关键信息记录在zookeeper里，保证自己的无状态，从而在水平扩容时非常方便。