本文档主要介绍如何使用ansible在远程centos服务器docker环境快速安装kafka集群(3节点),含zookeeper集群(3节点),目标服务器为一台本地虚拟机,安装操作系统为官方的Centos7.9-64,语言环境选择简体中文,安装类型选择最小化安装,不预装任何软件。

准备

硬件

  • 一台虚机:4c8g40g
  • 一台可以连接该虚机的mac pro,预装ansible和git,其中ansible版本为2.12.4

基础环境

服务器类型 OS 内网IP 备注
目标服务器 Centos7.9 10.0.1.121 root/root1234
主控端 mac pro

安装

安装规划

  • 准备hosts文件
#kafka-cluster-hosts
server1 ansible_ssh_user=root ansible_ssh_host=10.0.1.121 ansible_ssh_pass='root1234'

系统配置调优

最小化安装的centos7.9一般需要做一些才能充分发挥系统性能,ansible安装脚本里有roles可以用来修改ulimit、关闭防火墙和关闭selinux。

```Plain Text
cuiyingfeng@bogon ~ % git clone https://gitee.com/pi4k8s/ansible-exmaples.git
cuiyingfeng@bogon ~ % cd ansible-exmaples

用准备好的kafka-cluster-hosts文件替换下载的hosts

cuiyingfeng@bogon ansible-exmaples % cat hosts
server1 ansible_ssh_user=root ansible_ssh_host=10.0.1.121 ansible_ssh_pass='root1234'
cuiyingfeng@bogon ansible-exmaples % ANSIBLE_HOST_KEY_CHECKING=false ansible-playbook base-centos7.9/playbook/install-os-enforce.yaml -i hosts -e env_hosts=server1

#### 安装docker
```bash
# 在系统配置调优的步骤中我们已经同步下载了安装docker的ansible脚本,可以直接执行如下
cuiyingfeng@bogon ansible-exmaples %  ansible-playbook common-centos7.9/playbook/install-docker.yaml -i hosts -e env_hosts=server1

验证

cuiyingfeng@bogon ansible-exmaples % ansible -m shell -a 'docker --version' -o -i hosts server1 
server1 | CHANGED | rc=0 | (stdout) Docker version 20.10.16, build aa7e414

安装python3

目标服务器安装的Centos7.9操作系统默认安装的python版本比较低,其实并不支持ansible的docker容器相关指令;这里我们需要先在目标服务器远程安装一个高版本的python,后续再通过指定python路径的方式去执行ansible脚本就可以成功操作docker容器了。

本步骤中我们可以直接通过yum方式安装pyhon3(centos7.9默认安装的版本是3.6.8),然后再用pip3安装docker,后续就可以正常启动docker容器了,只是需要指定ansible_python_interpreter为/usr/bin/python3。

另外要注意一下主控端的ansible版本号,本实践使用的ansible版本为2.12.4(2.9.27版本也可以通过),如果ansible版本过低可能会导致基于本实践的安装python3失败。

# 在系统配置调优的步骤中我们也同步下载了安装python3的ansible脚本,可以直接执行如下
cuiyingfeng@bogon ansible-exmaples %  ansible-playbook common-centos7.9/playbook/install-python3.yaml -i hosts -e env_hosts=server1

验证

cuiyingfeng@bogon ansible-exmaples % ansible -m shell -a 'python3 --version' -o -i hosts server1
server1 | CHANGED | rc=0 | (stdout) Python 3.6.8

安装kafka集群

cuiyingfeng@bogon ~ % git clone https://gitee.com/cuiyingfeng/jenkins-ansible-examples.git
cuiyingfeng@bogon ~ % cd jenkins-ansible-examples
# 用准备好的kafka-cluster-hosts文件替换下载的kafka-cluster/kafka-cluster-hosts
cuiyingfeng@bogon jenkins-ansible-examples % cat kafka-cluster/kafka-cluster-hosts
server1 ansible_ssh_user=root ansible_ssh_host=10.0.1.121 ansible_ssh_pass='root1234'
cuiyingfeng@bogon jenkins-ansible-examples % ansible-playbook kafka-cluster/playbook/install-docker-kafka-cluster.yaml -i kafka-cluster/kafka-cluster-hosts -e env_hosts=server1

验证

验证zookeeper集群状态

通过命令行

cuiyingfeng@bogon jenkins-ansible-examples % ansible -m shell -a 'docker exec -it zookeeper-2181 zkServer.sh status|grep Mode' -i kafka-cluster/kafka-cluster-hosts server1
server1 | CHANGED | rc=0 >>
Mode: follower
cuiyingfeng@bogon jenkins-ansible-examples % ansible -m shell -a 'docker exec -it zookeeper-2182 zkServer.sh status|grep Mode' -i kafka-cluster/kafka-cluster-hosts server1
server1 | CHANGED | rc=0 >>
Mode: leader
cuiyingfeng@bogon jenkins-ansible-examples % ansible -m shell -a 'docker exec -it zookeeper-2183 zkServer.sh status|grep Mode' -i kafka-cluster/kafka-cluster-hosts server1
server1 | CHANGED | rc=0 >>
Mode: follower

验证kafka集群状态

通过cmak

cmak前身是kafka-manager,是一款非常经典的kafka界面可视化工具。

访问 http://10.0.1.121:9000/

image.pngimage
点Cluster菜单,弹出下拉菜单,选择Add Cluster,进入如下界面

image.pngimage

主要配置如上图显示4项即可,其中"Cluster Zookeeper Hosts"配置为本实践部署的zk集群地址; "Enable JMX Polling"的复选框勾选上;"Kafka Version"下拉框默认显示2.4.0,其最大版本号也是该项,其实并没有内置我们本次实践中安装的kafka版本号3.1.0,这里我们先选择2.4.0,然后拖动本配置页直到底部,点Save按钮后,返回“Add Cluster”成功页面如下

image.png

返回集群详情页面,显示如下,可以看到实践中安装的kafka实例已经被正常添加

image.png

可以看到Brokers数量为3。

小结

本实践没有讲解kafka及其相关组件如何安装部署,只给出了ansible脚本和实用ansible执行部署,读者可参考直接使用。本实践除适用于一般的x86物理机或虚拟机外,也适用于安装了centos7.9的树莓派Pi4B(可参考树莓派4B安装Centos7.9),有兴趣的读者不妨一试。

pipeline

https://gitee.com/cuiyingfeng/jenkins-ansible-examples 下有一枚彩蛋kafka-cluster/install-kafka-cluster-from-scratch.groovy
,熟悉jenkins的同学可以上车了。

【本文正在参加云原生有奖征文活动】,活动链接:https://ost.51cto.com/posts/12598

想了解更多关于开源的内容,请访问:

51CTO 开源基础软件社区

https://ost.51cto.com/#bkwz