查看kafka注册zookeeper信息 kafka使用zookeeper

转载

jordana 2024-03-21 09:42:13

文章标签 kafka zookeeper 服务器 文章分类 运维

单机安装

1. 安装 java

2. 安装 zookeeper　　　　【这一步可以没有，因为 kafka 自带了 zookeeper】

3. 安装 kafka

下载链接 kafka

kafka 是 scalar 开发的，解压后的版本有两个，第一个是 scalar 版本，第二个是 kafka 版本，注意一定要比较新的版本。

解压

启动 zookeeper 服务；如果使用 kafka 自带的 zookeeper，也需要先启动，自带 zk 启动命令为

bin/zookeeper-server-start.sh config/zookeeper.properties

修改 kafka 配置，server.properties，一般不用大改，需要注意的就是设定 zookeeper.connect=localhost:port 的端口等于启动的 zookeeper 服务的端口

启动 kafka 服务器，输出如下所示

[root@localhost kafka_2.11-0.9.0.0]# bin/kafka-server-start.sh config/server.properties 
[2019-09-04 14:31:23,069] INFO KafkaConfig values: 
    advertised.host.name = null
    metric.reporters = []
    quota.producer.default = 9223372036854775807
    offsets.topic.num.partitions = 50
    log.flush.interval.messages = 9223372036854775807
    auto.create.topics.enable = true

启动服务器之后，可以 ps 查看到进程；可以在 logs/server.log 查看启动日志

停止服务器

bin/kafka-server-stop.sh config/server.properties

后台启动服务器

加参数 -daemon

基本操作

主题 topic 操作

kafka-topics.sh：用于在服务器上各种操作 topic，该命令位于 kafka 安装路径的bin下

创建 topic

--create：创建 topic

--zookeeper：指定 zookeeper

--replication-factor：指定副本数，副本数不能大于 broker 数

--partitions：指定分区

--topic：指定 topic name

[root@localhost kafka_2.11-0.9.0.0]# bin/kafka-topics.sh --create --zookeeper localhost:2191 --replication-factor 1 --partitions 1 --topic test
Created topic "test".

创建成功后，可以在 server.properties 配置文件 log.dirs 指定的路径下看到创建 topic 的 log

查看kafka注册zookeeper信息 kafka使用zookeeper_kafka

查看 topic 名字

[root@localhost kafka_2.11-0.9.0.0]# bin/kafka-topics.sh --list --zookeeper localhost:2191
test

查看某个 topic 具体信息

[root@localhost kafka_2.11-0.9.0.0]# bin/kafka-topics.sh --create --zookeeper localhost:2191 --replication-factor 3 --partition 4 --topic sq
Created topic "sq".

[root@localhost kafka_2.11-0.9.0.0]# bin/kafka-topics.sh --describe --zookeeper localhost:2191 --topic sq
Topic:sq    PartitionCount:4    ReplicationFactor:3    Configs:
    Topic: sq    Partition: 0    Leader: 0    Replicas: 0,10,11    Isr: 0,10,11
    Topic: sq    Partition: 1    Leader: 10    Replicas: 10,11,12    Isr: 10,11,12
    Topic: sq    Partition: 2    Leader: 11    Replicas: 11,12,0    Isr: 11,12,0
    Topic: sq    Partition: 3    Leader: 12    Replicas: 12,0,10    Isr: 12,0,10

Replicas：代表副本位于哪个服务器，排在最前面的起作用，就是每个分区的 leader，优先使用这个服务器上的副本，如果挂了，再切到其他服务器的副本；

Isr：kafka 集群中可用的 broker.id 列表，用来同步副本

消息队列

启动生产者创建消息

producer.properties 指定了生产者的属性，如 metadata.broker.list=localhost:9092,...

bin/kafka-console-producer.sh --broker-list localhost:9092 --topic test

--broker-list：代理列表，当前数据流向哪个 broker

--topic：主题名

启动消费者获取消息

consumer.properties 指定了消费者的属性，如 zookeeper.connect=127.0.0.1:2181,...

bin/kafka-console-consumer.sh --zookeeper localhost:2191 --topic test --from-beginning

--zookeeper ：kafka topic 的元数据存放在 zk 中，所以指定 zk

--from-beginning：从头开始获取消息

　　// 具体来说是这样的，比如生产者一连发了好多消息，消费者不管是发送的时候已经启动，还是发完再启动，它都能获取 1-end 全部消息，即使生产者已经关闭了，也可以获取

　　// 如果没有这个参数，消费者只能获取他被启动以后发送的消息

注意这个操作新版本发生了变化

bin/kafka-console-consumer.sh --bootstrap-server localhost:2191 --topic 9911

zookeeper 换成了 bootstrap-server；

后面的 ip-port 换成了 kafka 服务，而不是 zookeeper 服务

这是因为老版本 consumer 的资料保存在 zk，现在保存在 kafka

查看kafka注册zookeeper信息 kafka使用zookeeper_服务器_02

这是 consumer 的 offset，保存在 kafka 的 log_dirs

消费者--黑名单(blacklist)和白名单(whitelist)选项：

--blacklist 后面跟需要过滤的topic的列表，使用","隔开，意思是除了列表中的topic之外，都能接收其它topic的数据
--whitelist 后面跟需要过滤的topic的列表，使用","隔开，意思是除了列表中的topic之外，都不能接收其它topic的数据
eg:
kafka-console-consumer.sh --zookeeper uplooking01:2181 --from-beginning --blacklist hadoop,hive
kafka-console-consumer.sh --zookeeper uplooking01:2181 --from-beginning --whitelist hadoop,flume

集群安装

由于只有一台服务器，本次执行伪分布式集群安装，与真正的集群安装过程雷同。

kafka 没有主从关系；

在安装分布式 kafka 之前，可以不安装分布式的 zookeeper，单机 zk 即可

安装过程

以3个节点为例

第一步，新建3个配置文件，server1.properties，server2.properties，server3.properties　　　　【或者建2个，原来的也算一个，总共3个】

查看kafka注册zookeeper信息 kafka使用zookeeper_zookeeper_03

修改以下几个参数

broker.id=10
listeners=PLAINTEXT://:9093
log.dirs=/tmp/kafka-logs1

3个配置文件中这几个参数不能相同

第二步，新建上面的3个路径，存储 topic 日志

第三步，分别启动这3个 kafka

kafka 启动成功后，会在 zookeeper 中创建节点，进入 zookeeper 客户端即可查看

bin/zkCli.sh -server localhost:2191

[zk: localhost:2191(CONNECTED) 1] ls /
[admin, brokers, config, consumers, controller, controller_epoch, isr_change_notification, zookeeper]
[zk: localhost:2191(CONNECTED) 2] get brokers/ids/10
Path must start with / character
[zk: localhost:2191(CONNECTED) 3] get /brokers/ids/10
{"jmx_port":-1,"timestamp":"1567661983831","endpoints":["PLAINTEXT://localhost:9093"],"host":"localhost","version":2,"port":9093}

我们看到了 kafka 服务的配置

基本操作

主题 topic 操作

基本同单机

创建 topic

bin/kafka-topics.sh --create --zookeeper localhost:2191 --replication-factor 3 --partitions 1 --topic yanshw

3 台服务器，所以副本设置为3，当然可以是1，2，比3小就行了

describe

[root@localhost kafka_2.11-0.9.0.0]# bin/kafka-topics.sh --describe --zookeeper localhost:2191 --topic yanshw
Topic:yanshw    PartitionCount:1    ReplicationFactor:3    Configs:
    Topic: yanshw    Partition: 0    Leader: 12    Replicas: 12,0,10    Isr: 12,0,10

输出第一行代表分区摘要，分别是主题，分区，副本，

输出第二行代表领导者所在分区，Leader：12 中的 12 是 server.properties 中的参数 broker.id，Replicas: 12,0,10 代表副本位于哪个服务器，排在最前面的起作用；Isr：kafka 集群中可用的 broker.id 列表

这里有个小发现：我实验单机时，开启一个kafka服务，id=0，后来我实验集群，复制了3份配置文件，分别设置 id 为 10,11,12，后来都启动成功了，但是之前的单机服务没关闭，也就是变成了 4个节点，而副本数是3，于是随机选了3台存放副本

消息队列

方式同单机

生产者

[root@localhost kafka_2.11-0.9.0.0]# bin/kafka-console-producer.sh --broker-list localhost:9092 --topic yanshw
a
b

这个端口是 producer.properties 生产者配置中的 metadata.broker.list=localhost:9092

消费者

[root@localhost kafka_2.11-0.9.0.0]# bin/kafka-console-consumer.sh --zookeeper localhost:2191 --topic yanshw --from-beginning
a
b

其他操作

修改主题

只能修改分区个数，且只能增加，不能减少

bin/kafka-topics.sh --zookeeper localhost:2191 --alter --topic yanshw --partitions 4

修改为4个分区

删除主题

[root@localhost kafka_2.11-0.9.0.0]# bin/kafka-topics.sh --zookeeper localhost:2191 --delete --topic yanshw 
Topic yanshw is marked for deletion.
Note: This will have no impact if delete.topic.enable is not set to true.

注意，这个操作之后， topic 只是标记为待删除，并没有真正删除。

如果 delete.topic.enable 没有设置为 true，这个操作不会有任何影响。

查看消费者分组

消费者分组无需事先指定，在读数据时随意指定名字，会自动创建分组

[root@node0 kafka_2.11-2.2.0]# bin/kafka-consumer-groups.sh --bootstrap-server node0:9092 --list
111
123456
console-consumer-17565

查看某个分组的信息

[root@node0 kafka_2.11-2.2.0]# bin/kafka-consumer-groups.sh --bootstrap-server node0:9092 --group 111 --describe

TOPIC           PARTITION  CURRENT-OFFSET  LOG-END-OFFSET  LAG             CONSUMER-ID                                             HOST            CLIENT-ID
91107           0          9               9               0               kafka-python-1.4.6-a6a9e3ff-e677-4ed9-80aa-ee1dd9ea35d8 /172.16.95.55   kafka-python-1.4.6
91107           1          6               6               0               kafka-python-1.4.6-a6a9e3ff-e677-4ed9-80aa-ee1dd9ea35d8 /172.16.95.55   kafka-python-1.4.6
91107           2          5               5               0               kafka-python-1.4.6-a6a9e3ff-e677-4ed9-80aa-ee1dd9ea35d8 /172.16.95.55   kafka-python-1.4.6
91101           1          179             179             0               -                                                       -               -
91101           2          206             222             16              -                                                       -               -

参考资料：

https://www.w3cschool.cn/apache_kafka/apache_kafka_installation_steps.html　　Apache Kafka 安装步骤

https://www.w3cschool.cn/apache_kafka/apache_kafka_basic_operations.html　　Apache Kafka 基本操作

https://blog.51cto.com/xpleaf/2090847　　　　讲些比较深一些

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。