今天我们来介绍几个Kafka的监控工具,这部分做一下了解即可,因为现在的大数据平台都有自己的监控界面,可以从监控界面上监控Kafka,只有在单独使用Apache Kafka集群的时候才会用到咱们本章讲解的监控工具,这种业务场景就现在来说已经不多了,所以本文只做了解即可,不用过多的深究,到时候会有专门的大数据监控平台。
目录
一、Kafka Monitor
二、Kafka Manager
一、Kafka Monitor
Kafka Monitor安装简单,页面简单,主要是用来监控消费者和offset,对kafka集群的支持较少。下面我们一起来看一下怎样安装部署。
1、首先在/opt/modules目录下新建kafka-monitor目录并将下载好的jar包上传到此目录下。
2、创建启动脚本kafka-monitor-start.sh,内容如下:
#!/bin/bash
java -cp KafkaOffsetMonitor-assembly-0.4.6-SNAPSHOT.jar \
com.quantifind.kafka.offsetapp.OffsetGetterWeb \
--offsetStorage kafka \
--kafkaBrokers master:9092,slave01:9092,slave02:9092 \
--kafkaSecurityProtocol PLAINTEXT \
--zk master:2181,slave01:2181,slave02:2181 \
--port 8086 \
--refresh 10.seconds \
--retain 2.days \
--dbName offsetapp_kafka &
下面是对参数的解释:
offsetStorage:offset存储的位置
kafkaBrokers:Kafka brokers
kafkaSecurityProtocol:安全协议
zk:zookeeper集群
port:监控工具的端口号
refresh:设定刷新的时间频率
retain:日志等文件的保存天数
dbName:自动生成的数据库名称
3、给创建的脚本赋权
4、在/opt/modules/kafka-monitor目录下创建mobile-logs目录用来保存日志信息
5、启动脚本
[root@master kafka-monitor]# ./kafka-monitor-start.sh
6、登录到8086端口查看详情
监控界面的具体操作,这里就不做详细的介绍了,感兴趣的可以自己点点看看。
二、Kafka Manager
同样的,这里也只讲解怎样安装部署,具体监控界面的操作感兴趣的可以自己测试。
1、在/opt/modules目录下新建kafka-manager目录并将压缩包解压到该目录下
unzip kafka-manager-1.3.3.15.zip -d /opt/modules/kafka-manager/
2、修改/opt/modules/kafka-manager/kafka-manager-1.3.3.15/conf目录下的application.conf文件
kafka-manager.zkhosts="master:2181,slave01:2181,slave02:2181"
3、启动kafka manager
bin/kafka-manager
如果端口号冲突,可以通过下面的命令修改端口号:
bin/kafka-manager -Dhttp.port=7456
4、查看监控界面
监控工具的内容我们就介绍到这里,这部分不作为重点,了解即可。