Logi-KafkaManager操作文档

1.产品简介

​ 滴滴Logi-KafkaManager是面向Kafka用户、Kafka运维人员打造的共享多租户Kafka云平台,专注于Kafka运维管控、监控告警、资源治理等核心场景,经历过大规模集群、海量大数据的考验。

1.1 架构图

kafka启动后可视化页面 kafka manager页面_运维

2.使用说明

1.用户管理

1.申请用户角色

​ 1.点击运维管控

kafka启动后可视化页面 kafka manager页面_运维_02

​ 2.点击添加用户
kafka启动后可视化页面 kafka manager页面_kafka_03

​ 3.填写用户信息,选择角色,设置密码

kafka启动后可视化页面 kafka manager页面_运维_04

用户申请成功

2.编辑用户角色

​ 用户的角色和密码是可以更改的,点击编辑按钮,就可以对用户的信息进行编辑

kafka启动后可视化页面 kafka manager页面_重置_05

2.Topic管理

​ 在topic管理中,我们可以申请topic,申请配额,申请分区,申请下线等操作

1.申请topic

点击右上角“申请Topic”

kafka启动后可视化页面 kafka manager页面_kafka_06

填写配置信息

kafka启动后可视化页面 kafka manager页面_应用管理_07

然后topic就会显示为待审批状态

kafka启动后可视化页面 kafka manager页面_运维_08

这个时候,需要切换到运维人员用户,对主题进行审批(不知道为什么申请的topic可以自动审批)

2.申请配额

kafka启动后可视化页面 kafka manager页面_运维_09

信息填写完整后会出现待审批的状态,此时切换到admin账户,对工单进行审批

kafka启动后可视化页面 kafka manager页面_其他_10

3.申请分区

点击申请分区按键,填写配置信息

kafka启动后可视化页面 kafka manager页面_其他_11
kafka启动后可视化页面 kafka manager页面_其他_12

然后切换到admin用户进行审批,同上

4.申请下线

点击更多

kafka启动后可视化页面 kafka manager页面_其他_13

点击申请下线

kafka启动后可视化页面 kafka manager页面_运维_14

点击确认,然后切换到admin用户审批,同上

5.删除topic

点击运维管控,选择需要删除的topic,点击删除

kafka启动后可视化页面 kafka manager页面_kafka_15

kafka启动后可视化页面 kafka manager页面_重置_16

6. 重置offset

​ 点击Topic管理,找到相应的topic,点击进去,点击消费组信息,点击重置offset,重置offset可以选择全部重置也可以选择重置到指定时间。

kafka启动后可视化页面 kafka manager页面_kafka_17

kafka启动后可视化页面 kafka manager页面_运维_18

7.查看broker详细信息

kafka启动后可视化页面 kafka manager页面_kafka_19

点击brokerID可以查看broker的详细信息

kafka启动后可视化页面 kafka manager页面_应用管理_20

kafka启动后可视化页面 kafka manager页面_其他_21

点击监控信息可以查看broker的一些指标图表,以图表的形式展示数据走向。

kafka启动后可视化页面 kafka manager页面_运维_22

点击topic信息可以查看broker的topic信息

kafka启动后可视化页面 kafka manager页面_其他_23

8. topic权限申请

点击选择全部topic,点击申请权限,可以为topic申请消费权限和发送权限

kafka启动后可视化页面 kafka manager页面_kafka_24

kafka启动后可视化页面 kafka manager页面_应用管理_25

3. 应用管理

1. 申请应用

​ 点击应用管理,然后点击应用申请

kafka启动后可视化页面 kafka manager页面_kafka_26

kafka启动后可视化页面 kafka manager页面_其他_27

2. 修改应用

点击编辑,可以对应用进行修改,可以修改应用名称,负责人以及应用描述

kafka启动后可视化页面 kafka manager页面_应用管理_28

kafka启动后可视化页面 kafka manager页面_运维_29

3. 应用下线

点击申请下线,可以下线应用

kafka启动后可视化页面 kafka manager页面_其他_30

kafka启动后可视化页面 kafka manager页面_运维_31

4. 查看应用详情

点击应用的appid,便可以查看应用详情

kafka启动后可视化页面 kafka manager页面_kafka_32

kafka启动后可视化页面 kafka manager页面_重置_33

4. 集群管理

1. 申请集群

点击上方的集群管理进入集群页面,点击右上方的申请集群按钮即可

kafka启动后可视化页面 kafka manager页面_其他_34

填写集群所属的应用,设置集群类型,设置峰值流量,填写申请原因即可

kafka启动后可视化页面 kafka manager页面_运维_35

填写完毕后需要审批,审批完成后即可
kafka启动后可视化页面 kafka manager页面_kafka_36

2. 集群下线

对于自己独享的集群,可以申请下线

点击集群管理>我的集群,可以查看集群列表,点击申请下线,然后会出现申请下线的弹窗,弹窗内展示是否有与该集群相关的活跃topic,如果有,则无法下线该集群,需要先下线相应的topic。

kafka启动后可视化页面 kafka manager页面_kafka_37

3. 集群缩扩容

对于自己独享的集群,可以申请缩扩容

点击集群管理>我的集群,可以查看集群列表,点击缩扩容,然后会出现申请缩扩容的弹框,选择申请的类型,是扩容还是缩容,然后填写申请缩扩容的原因,点击确认提交

kafka启动后可视化页面 kafka manager页面_运维_38

4. 查看集群详情

点击集群名称,进入集群详情页,在这里我们可以查看集群的一些基本信息

kafka启动后可视化页面 kafka manager页面_运维_39

5. 查看集群topic列表

点击集群名称,进入集群详情页,点击topic信息,可以查看集群相关的topic列表。

kafka启动后可视化页面 kafka manager页面_kafka_40

6. 查看集群broker列表

点击集群名称,进入集群详情页,点击broker信息,查看集群相关的额broker列表

kafka启动后可视化页面 kafka manager页面_运维_41

5. 监控告警

1. 告警列表

可以以列表的形式展示每个告警规则的告警情况,也可通过下拉筛选想查看的应用,或输入关键字匹配告警

kafka启动后可视化页面 kafka manager页面_kafka_42

2. 新增告警规则

点击新建规则,进入新建告警规则页面

kafka启动后可视化页面 kafka manager页面_重置_43

kafka启动后可视化页面 kafka manager页面_应用管理_44

填写告警基本信息,选择指标和报警策略

kafka启动后可视化页面 kafka manager页面_kafka_45

填写生效时间,选择告警规则生效的时间段

kafka启动后可视化页面 kafka manager页面_应用管理_46

配置发送信息,可以在这里设置报警的级别,报警的周期,周期内报警的次数等等

kafka启动后可视化页面 kafka manager页面_应用管理_47

全部填写完毕,点击右上角的提交即可

kafka启动后可视化页面 kafka manager页面_其他_48

6. 运维管控

1. 集群列表

点击运维管控>集群列表,就会以列表的形式展示集群信息,也可以通过左上方的搜索框,输入集群名称的关键字,搜索相应的集群

kafka启动后可视化页面 kafka manager页面_应用管理_49

2. 新增集群

点击右上方的接入集群

kafka启动后可视化页面 kafka manager页面_其他_50

然后会出现接入集群的弹框,在这里要填入集群名称,zookeeper地址,bootstrapServers, 集群类型。

kafka启动后可视化页面 kafka manager页面_重置_51

填写完整以后,点击确认,提交申请单

3. 修改集群

点击编辑,即可修改集群信息,但是只支持修改集群类型和安全协议这两项内容,修改完成后点击确认

kafka启动后可视化页面 kafka manager页面_其他_52

4. 暂停/开始监控集群

点击集群列表操作栏中的暂停监控,在气泡确认框中点击确认,可暂停对该集群的监控,反之,打开对集群的监控操作一样

kafka启动后可视化页面 kafka manager页面_应用管理_53

5 删除集群

点击集群列表操作栏中的删除,在二次确认弹框中,会显示该物理集群上是否有逻辑集群,如果有,则无法直接删除,需要先将逻辑集群删除后,再删除该物理集群。

kafka启动后可视化页面 kafka manager页面_重置_54

kafka启动后可视化页面 kafka manager页面_应用管理_55

6. 查看集群详情

点击集群名称,进入详情页,在这里可以查看topic信息,broker信息,消费组信息,region信息,逻辑集群信息,Controller变更历史以及限流信息

kafka启动后可视化页面 kafka manager页面_运维_56

kafka启动后可视化页面 kafka manager页面_其他_57

kafka启动后可视化页面 kafka manager页面_kafka_58

kafka启动后可视化页面 kafka manager页面_应用管理_59

kafka启动后可视化页面 kafka manager页面_kafka_60

kafka启动后可视化页面 kafka manager页面_kafka_61

7. 集群运维

1. 迁移任务

点击运维管控>集群运维,点击右上角的新建迁移任务,填写新建迁移任务的详细信息即可

kafka启动后可视化页面 kafka manager页面_kafka_62

kafka启动后可视化页面 kafka manager页面_其他_63

2. 集群任务

点击运维管控>集群运维,选择集群任务,点击新建集群任务,填写完相应的配置信息,点击确认即可

kafka启动后可视化页面 kafka manager页面_其他_64

kafka启动后可视化页面 kafka manager页面_重置_65

3. 版本管理

点击运维管控>集群运维,选择版本管理,点击上传配置,对配置进行上传,上传完成点击确认即可

kafka启动后可视化页面 kafka manager页面_应用管理_66

kafka启动后可视化页面 kafka manager页面_应用管理_67

8. 平台管理

1. 应用管理

操作同上面应用管理

2. 用户管理

操作同上面应用管理

3. 配置管理

点击运维管控>平台管理,选择配置管理,点击增加配置按钮,在弹框里填写好配置信息即可

kafka启动后可视化页面 kafka manager页面_重置_68

kafka启动后可视化页面 kafka manager页面_kafka_69