今天我们来介绍几个Kafka的监控工具,这部分做一下了解即可,因为现在的大数据平台都有自己的监控界面,可以从监控界面上监控Kafka,只有在单独使用Apache Kafka集群的时候才会用到咱们本章讲解的监控工具,这种业务场景就现在来说已经不多了,所以本文只做了解即可,不用过多的深究,到时候会有专门的大数据监控平台。


目录

一、Kafka Monitor

二、Kafka Manager


一、Kafka Monitor

Kafka Monitor安装简单,页面简单,主要是用来监控消费者和offset,对kafka集群的支持较少。下面我们一起来看一下怎样安装部署。

1、首先在/opt/modules目录下新建kafka-monitor目录并将下载好的jar包上传到此目录下。

windows上的kafka的可视化工具 kafka可视化监控_大数据

2、创建启动脚本kafka-monitor-start.sh,内容如下:

#!/bin/bash
java -cp KafkaOffsetMonitor-assembly-0.4.6-SNAPSHOT.jar \
com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--offsetStorage kafka \
--kafkaBrokers master:9092,slave01:9092,slave02:9092 \
--kafkaSecurityProtocol PLAINTEXT \
--zk master:2181,slave01:2181,slave02:2181 \
--port 8086 \
--refresh 10.seconds \
--retain 2.days \
--dbName offsetapp_kafka &

下面是对参数的解释:

offsetStorage:offset存储的位置
kafkaBrokers:Kafka brokers
kafkaSecurityProtocol:安全协议
zk:zookeeper集群
port:监控工具的端口号
refresh:设定刷新的时间频率
retain:日志等文件的保存天数
dbName:自动生成的数据库名称

3、给创建的脚本赋权

windows上的kafka的可视化工具 kafka可视化监控_kafka_02

4、在/opt/modules/kafka-monitor目录下创建mobile-logs目录用来保存日志信息

windows上的kafka的可视化工具 kafka可视化监控_端口号_03

5、启动脚本

[root@master kafka-monitor]# ./kafka-monitor-start.sh

6、登录到8086端口查看详情

windows上的kafka的可视化工具 kafka可视化监控_kafka_04

监控界面的具体操作,这里就不做详细的介绍了,感兴趣的可以自己点点看看。

windows上的kafka的可视化工具 kafka可视化监控_端口号_05

二、Kafka Manager

同样的,这里也只讲解怎样安装部署,具体监控界面的操作感兴趣的可以自己测试。

1、在/opt/modules目录下新建kafka-manager目录并将压缩包解压到该目录下

unzip kafka-manager-1.3.3.15.zip -d /opt/modules/kafka-manager/

windows上的kafka的可视化工具 kafka可视化监控_大数据_06

2、修改/opt/modules/kafka-manager/kafka-manager-1.3.3.15/conf目录下的application.conf文件

kafka-manager.zkhosts="master:2181,slave01:2181,slave02:2181"

3、启动kafka manager

bin/kafka-manager

如果端口号冲突,可以通过下面的命令修改端口号:

bin/kafka-manager -Dhttp.port=7456

4、查看监控界面

windows上的kafka的可视化工具 kafka可视化监控_大数据_07

 

监控工具的内容我们就介绍到这里,这部分不作为重点,了解即可。