Kafka三种可视化监控管理工具Kafka monitor,Kafka manager,Kafka eagle。由于我自己公司采用的是Kafka manager,本次先以manager为例,其他监控工具的教程后期补充。

一、下载

Kafka manager是一个git开源项目,当前最新版3.0.0.5,现在已经改名字为CMAK,这不是一个单纯的可以直接拿来运行的程序,需要将代码包下载后再通过sbt编译才能运行,这个过程费时费力,不仅如此,从3版本开始需要java11+环境,而我只是java8,无奈只能选择低版本且还需要sbt编译。

kafka集群 statefulset deployment Kafka集群连接工具_linux

在此提供两个已经编译好,亲测可以直接拿来用的版本,支持java8+环境

Kafka-manager-2.0.0.0版本:链接:https://pan.baidu.com/s/1Tf2WZsFx0-gfk8MPjcARMA 提取码:bonn 

Kafka-manager-1.3.3.7版本:链接:https://pan.baidu.com/s/17tkQ2M_T53Ql79o6knsNSQ 提取码:u9tr 

二、安装

Kafka的安装上期已经讲过了,而且是安装的最新版2.6.0,下面安装Kafka-manager-2.0.0.0版本与其配套使用。

1.解压缩

将kafka-manager-2.0.0.0.zip上传到服务器,解压缩到自定义路径下:

[root@host-192-168-11-21 data]# unzip kafka-manager-2.0.0.0.zip -d /data/

解压后

kafka集群 statefulset deployment Kafka集群连接工具_linux_02

2.修改配置文件

去kafka-manager-2.0.0.0的文件conf下修改application.conf配置文件

只需要修改一行:kafka-manager.zkhosts,添加自己kafka集群各台服务器地址,如下:

kafka-manager.zkhosts="192.168.11.21:2181,192.168.11.22:2181,192.168.11.23:2181"

三、运行

首先启动zookeeper和kafka,启动方式详见上篇文章。

然后进入到kafka-manager-2.0.0.0的文件下执行启动命令,此处我将运行日志特意输出到/logs/log.log文件,关于更详细启动教程查看文章Linux下运行项目包,启动日志输出教程

[root@host-192-168-11-21 kafka-manager-2.0.0.0]# nohup bin/kafka-manager >/data/kafka-manager-2.0.0.0/logs/log.log 2>&1 &

查看进程情况

[root@host-192-168-11-21 kafka-manager-2.0.0.0]# jps

 ProdServerStart进程已经启动

kafka集群 statefulset deployment Kafka集群连接工具_java_03

或者查看两个实时日志:出现Updating internal state...证明启动成功,已经开始持续监听kafka集群服务

kafka集群 statefulset deployment Kafka集群连接工具_kafka_04

kafka集群 statefulset deployment Kafka集群连接工具_linux_05

通过浏览器进行访问:http://服务器地址:9000,kafka-manager默认端口9000,至此完成安装。

kafka集群 statefulset deployment Kafka集群连接工具_服务器_06

---------------------------------------------------------------------------------------------------------------------------------------------------------

问题一:启动kafka-manager失败

启动kafka-manager失败,进程提示关闭

kafka集群 statefulset deployment Kafka集群连接工具_kafka_07

查看日志报:

nohup: ignoring input
This application is already running (Or delete /data/kafka-manager-2.0.0.0/RUNNING_PID file).

原因:这个问题往往出现在再次启动kafka-manager时,提示启动失败,根据日志提示说此程序已经在运行,但其实根本查不到程序的进程,实际就没有启动,只是由于启动pid文件依然存在,让kafka-manager误以为启动。

解决:根据日志提示删掉/data/kafka-manager-2.0.0.0/RUNNING_PID这个pid文件即可。