一、kafka简介

Apache kafka是由Apache软件基金会开发的一个开源流处理平台,由ScalaJava编写。Kafka是一种高吞吐量的

分布式发布订阅消息系统,是消息中间件的一种,用于构建实时数据管道和流应用程序

kafka与zookeeper是配合使用的所以请先部署zookeeper集群

Kafka官网:http://kafka.apache.org/

由于官网下载较慢,我是在阿里云镜像站下载的

阿里镜像https://opsx.alibaba.com/mirror



二、安装环境简介

主机

IP

版本

端口

系统

server.1

192.168.1.39

kafka_2.11-1.1.0 zookeeper-3.4.13

9092 / 2181

Centos7.2

server.2

192.168.1.44

server.3

192.168.1.54

IP顺序设置或是无序设置均可

 

三、安装kafka

1. 下载

wget https://mirrors.aliyun.com/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz

 

2. 解压到/opt目录

tar xf kafka_2.11-1.1.0.tgz -C /opt/

Centos7---kafka集群搭建_集群


3. 进入conf目录复制配置文件

Centos7---kafka集群搭建_kafka_02


4. 配置文件修改内容 Centos7---kafka集群搭建_kafka_03

Centos7---kafka集群搭建_kafka_04

Centos7---kafka集群搭建_集群_05

Centos7---kafka集群搭建_kafka_06

只需要改以上四点

Broker.id=按zookeeper的myid改为相应的1 、2 、3

Listeners=设置本机IP

Log.dirs=设置kafka日志位置,创建/u01目录即可,kafka-logs会自己创建

Zookeeper.connerct=按zookeeper相应myid顺序排序,以冒号分割

 

5. bin目录下的启动脚本

Centos7---kafka集群搭建_集群_07

 

6. 指定配置文件启动

Centos7---kafka集群搭建_kafka_08

三台逐一启动

 

7. 检查端口进程

Centos7---kafka集群搭建_kafka_09

其他节点同样

 

 

四、验证

Centos7---kafka集群搭建_kafka_10