Kafka with KRaft 集群认证 kafka集群管理

转载

mob64ca1408d5ff 2024-04-26 09:40:21

文章标签 zookeeper docker 大数据数据库分布式 文章分类 架构后端开发

本篇文章大概2537字，阅读时间大约13分钟

Kafka产线环境需要管理的Topic和Consumser越来越多，使用命令行工具进行管理会非常繁杂。因此，大数据平台上需要一套Kafka的管理监控系统，Kafka-Eagle。

集群环境

CDH5.16.2
CDH Kafka - 4.1.0
Kafka-Eagle-2.0.2

Kafka-Eagle

Kafka Eagle是一个用于监控和管理kafka的开源组件，可以同时监控多个kafka集群。Kafka Eagle提供了完善的监控页面和kafka常用操作的管理界面，便于管理员对kafka集群进行运维管理。

Kafka Eagle提供了KSQL操作的可视化界面，让你可以非常快速的查看kafka中的消息。

Kafka Eagle支持多种报警方式，如钉钉，微信和邮件等。

官网：http://www.kafka-eagle.org/

Kafka-Eagle安装部署

CDH集群上所有的工具组件都部署在集群的工具节点上。

软件下载

http://download.kafka-eagle.org/

Kafka with KRaft 集群认证 kafka集群管理_zookeeper

tar -zxvf kafka-eagle-bin-2.0.2.tar.gz -C /opt/

tar -zxvf kafka-eagle-web-2.0.2-bin.tar.gz -C /opt/

mv kafka-eagle-web-2.0.2 kafka-eagle-2.0.2

Kafka with KRaft 集群认证 kafka集群管理_zookeeper_02

参数配置

配置kafka eagle环境变量

vi /etc/profile

#kafka eagle
export KE_HOME=/opt/kafka-eagle-2.0.2
export PATH=$PATH:$KE_HOME/bin

#环境变量生效
source /etc/profile

Kafka with KRaft 集群认证 kafka集群管理_数据库_03

创建元数据库，存放在mysql中

CREATE DATABASE ke DEFAULT CHARACTER SET utf8 DEFAULT COLLATE
utf8_general_ci;
CREATE USER 'ke'@'%' IDENTIFIED BY 'ke123!';
GRANT ALL PRIVILEGES ON ke.* TO 'ke'@'%' IDENTIFIED BY 'ke123!';
flush privileges;

修改kafka-eagle的配置文件

主要注意集群的zk信息，kafka eagle的端口，kafka的offset存储在zk还是topic及元数据库的配置

cd $KE_HOME/conf

vi system-config.properties

# 修改配置文件
######################################
# multi zookeeper & kafka cluster list
######################################
# 指定kafka集群名称，可以配多个，采用逗号分隔
kafka.eagle.zk.cluster.alias=ca-prod
ca-prod.zk.list=xx1:2181,xx2:2181,xx3:2181

######################################
# kafka eagle webui port
######################################
kafka.eagle.webui.port=8048

######################################
# kafka offset storage
######################################
ca-prod.kafka.eagle.offset.storage=kafka
#cluster2.kafka.eagle.offset.storage=zk

######################################
# kafka metrics, 15 days by default
######################################
kafka.eagle.metrics.charts=true
#保留5天的kafka metrics
kafka.eagle.metrics.retain=5

######################################
# kafka mysql jdbc driver address
######################################
kafka.eagle.driver=com.mysql.jdbc.Driver
kafka.eagle.url=jdbc:mysql://10.64.xx.xx:3306/ke?useUnicode=true&characterEncoding=UTF-8&zeroDateTimeBehavior=convertToNull
kafka.eagle.username=ke
kafka.eagle.password=ke123!