1、安装jdk(kafka是scala语言开发的,运行在jvm上)

# 解压文件

tar -zxf jdk1.8.0_201.tar

# 配置环境变量

vim /etc/profile

# 在 profile 文件最后加上

export JAVA_HOME=/usr/local/java/jdk1.8.0_201

export PATH=$JAVA_HOME/bin:$PATH

export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar

# 使配置生效

source /etc/profile

# 最后输入 java 命令测试

java

2、安装zookeeper(kafka依赖zookeeper)

下载地址:https://zookeeper.apache.org/releases.html

# 解压文件

tar ‐zxvf apache‐zookeeper‐3.5.9‐bin.tar.gz

# 复制一份配置文件, 方便修改

cp conf/zoo_sample.cfg conf/zoo.cfg

# 启动

bin/zkServer.sh start

# 连接控制台

bin/zkCli.sh

# 查看zk的根目录相关节点

ls /

3、安装kafka

下载地址:http://archive.apache.org/dist/kafka/

# 解压 kafka

tar ‐xzf kafka_2.12‐3.1.0.tgz

# 修改配置文件

vim config/server.config

# The id of the broker. This must be set to a unique integer for each broker.

broker.id=0

listeners=PLAINTEXT://:9092

advertised.listeners=PLAINTEXT://10.128.106.99:9092

# kafka 连接 zookeeper 的地址

zookeeper.connect=127.0.0.1:2181

# 启动

bin/kafka‐server‐start.sh config/server.properties

# 启动成功后,可以进入zookeeper 查看kafka节点

bin/zk.Cli.sh

ls /

4、创建主题

./bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic test

5、查看主题列表

./bin/kafka-topics.sh --list --bootstrap-server localhost:9092

6、发送消息到主题

./kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test

7、查看主题消息

bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning

8、查看主题分区等

bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic aiopsspan_glxxxt

9、写入性能

./bin/kafka-producer-perf-test.sh --num-records 10000000 --record-size 1000 --topic test2 --throughput 100000 --producer-props bootstrap.servers=localhost:9092

10、读取性能

./bin/kafka-consumer-perf-test.sh --broker-list localhost:9092 --topic test2 --messages 1000000 --fetch-size 1048576 --threads 10

4、测试结果说明:

2022-12-25 20:47:06:059, 2022-12-25 20:47:27:463, 265.5020, 12.4043, 278399, 13006.8679, 666, 20738, 12.8027, 13424.5829

最大吞吐率265.5020MB/s,平均每秒消费12.4043MB/s,最大每秒消费278399条,平均每秒消费13006.8679条