1、 Kafka的安装需要java环境,cent os 7自带java1.6版本,可以不用重新安装,直接使用自带的jdk 即可;如果觉得jdk版本太旧,也可以自己重新安装;

2、 准备好kafka安装包,官网下载地址: 
http://kafka.apache.org/downloads.html

3、 下载好kafka安装包后,将其解压到/usr/local目录下,删除压缩包

4、 目前搭建了三个节点的kafka集群,分别在10.10.67.102,10.10.67.104和10.10.67.106服务器上;

5、 查看配置文件 

进入kafka的config的目录:

centos 搭建kafka 集群 kafka集群搭建详细步骤_python

6、 先建立zk集群,直接使用kafka自带的zookeeper建立zk集群,修改zookeeper.properties文件:

centos 搭建kafka 集群 kafka集群搭建详细步骤_大数据_02

三个机器上的zookeeper.properties文件配置相同,需要注意的是日志保存的路径,不会自动生成,需要自己手动建立相关的路径, dataLogDir是我自己加的,日志文件太多,把日志文件区分开;

7、 创建myid文件,进入/usr/local/kafka/zookeeper,创建myid文件,将三个服务器上的myid文件分别写入1,2,3,如图:

centos 搭建kafka 集群 kafka集群搭建详细步骤_大数据_03

—-myid是zk集群用来发现彼此的标识,必须创建,且不能相同;

8、 进入kafka目录 执行启动zookeeper命令: 
./bin/zookeeper-server-start.sh config/zookeeper.properties & 
三台机器都执行启动命令,查看zookeeper的日志文件,没有报错就说明zookeeper集群启动成功了。

9、 搭建kafka集群,修改server.properties配置文件: 

centos 搭建kafka 集群 kafka集群搭建详细步骤_centos 搭建kafka 集群_04

centos 搭建kafka 集群 kafka集群搭建详细步骤_大数据_05

server.properties配置文件的修改主要在开头和结尾,中间保持默认配置即可;需要注意的点是broker.id的值三个节点要配置不同的值,分别配置为0,1,2;log.dirs必须保证目录存在,不会根据配置文件自动生成;

10、 启动kafka集群,进入kafka目录,执行如下命令 : 
./bin/kafka-server-start.sh –daemon config/server.properties & 
三个节点均要启动;启动无报错,即搭建成功,可以生产和消费消息,来检测是否搭建成功。
11、常用的生产和消费命令:

(1)启动kafka:

./bin/kafka-server-start.sh -daemon config/server.properties &

(2)创建topic为test的主题

./bin/kafka-topics.sh --create --zookeeper 10.10.67.102:2181, 10.10.67.104:2181, 10.10.67.106:2181 --replication-factor 3 --partitions 3 --topic test
(3)查看topic列表:

./bin/kafka-topics.sh --list --zookeeper localhost:2181

(4)查看指定主题:

./bin/kafka-topics.sh --describe --zookeeper localhost:2181 --topic test

(5)模拟生产者

./bin/kafka-console-producer.sh --broker-list 10.10.67.102:9092, 10.10.67.104:9092, 10.10.67.106:9092 --topic test

(6)模拟消费者

./bin/kafka-console-consumer.sh --zookeeper 10.10.67.102:2181, 10.10.67.104:2181, 10.10.67.106:2181 --from-beginning --topic test