docker安装 kafka集群

原创

yunbrody 2023-07-07 13:57:05 ©著作权

文章标签 docker kafka zookeeper 文章分类 办公效率

©著作权归作者所有：来自51CTO博客作者yunbrody的原创作品，请联系作者获取转载授权，否则将追究法律责任

文章目录

一、kafka简介
二、docker 安装kafka集群

（一）安装docker-compose
（二）拉取镜像

一、kafka简介

kafka是分布式的、基于发布/订阅模式的消息队列。

a系统获取b系统的数据，不是直接获取，而是通过消息队列获取。

作用：解耦，削峰填谷

如果公司用spark作为数据分析框架，那么90%的概率使用kafka

docker安装 kafka集群_docker

二、docker 安装kafka集群

（一）安装docker-compose

下载最新版的docker-compose文件 
curl -L https://get.daocloud.io/docker/compose/releases/download/1.25.1/docker-compose-`uname -s`-`uname -m` -o /usr/local/bin/docker-compose

添加可执行权限
chmod +x /usr/local/bin/docker-compose

测试安装结果
docker-compose --version
>>  docker-compose version 1.25.1, build a82fef07

（二）拉取镜像

docker pull zookeeper:3.4
docker pull wurstmeister/kafka:2.13-2.7.0
docker pull sheepkiller/kafka-manager:latest

创建集群网络
docker network create --driver  bridge --subnet 192.168.0.0/24  --gateway 192.168.0.1  kafka

查看
docker network ls

网络设置：

echo "net.ipv4.ip_forward=1" >>/usr/lib/sysctl.d/00-system.conf

systemctl restart network && systemctl restart docker

将三个yml文件保存到centos系统中的 /opt/file/kafka 目录里

docker-compose -f /opt/file/kafka/docker-compose-zookeeper.yml up -d

docker-compose -f /opt/file/kafka/docker-compose-kafka.yml  up -d

docker-compose -f /opt/file/kafka/docker-compose-manager.yml  up -d

浏览器访问宿主机：http://192.168.1.167:9000/