一、kafka简介
Apache kafka是由Apache软件基金会开发的一个开源流处理平台,由Scala和Java编写。Kafka是一种高吞吐量的
分布式发布订阅消息系统,是消息中间件的一种,用于构建实时数据管道和流应用程序
kafka与zookeeper是配合使用的所以请先部署zookeeper集群
Kafka官网:http://kafka.apache.org/
由于官网下载较慢,我是在阿里云镜像站下载的
阿里镜像https://opsx.alibaba.com/mirror
二、安装环境简介
主机 | IP | 版本 | 端口 | 系统 |
server.1 | 192.168.1.39 | kafka_2.11-1.1.0 zookeeper-3.4.13 | 9092 / 2181 | Centos7.2 |
server.2 | 192.168.1.44 | |||
server.3 | 192.168.1.54 |
IP顺序设置或是无序设置均可
三、安装kafka
1. 下载
wget https://mirrors.aliyun.com/apache/kafka/1.1.0/kafka_2.11-1.1.0.tgz
2. 解压到/opt目录
tar xf kafka_2.11-1.1.0.tgz -C /opt/
3. 进入conf目录复制配置文件
4. 配置文件修改内容
只需要改以上四点
Broker.id=按zookeeper的myid改为相应的1 、2 、3
Listeners=设置本机IP
Log.dirs=设置kafka日志位置,创建/u01目录即可,kafka-logs会自己创建
Zookeeper.connerct=按zookeeper相应myid顺序排序,以冒号分割
5. bin目录下的启动脚本
6. 指定配置文件启动
三台逐一启动
7. 检查端口进程
其他节点同样
四、验证