1、安装jdk(kafka是scala语言开发的,运行在jvm上)
# 解压文件
tar -zxf jdk1.8.0_201.tar
# 配置环境变量
vim /etc/profile
# 在 profile 文件最后加上
export JAVA_HOME=/usr/local/java/jdk1.8.0_201
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tool.jar
# 使配置生效
source /etc/profile
# 最后输入 java 命令测试
java
2、安装zookeeper(kafka依赖zookeeper)
下载地址:https://zookeeper.apache.org/releases.html
# 解压文件
tar ‐zxvf apache‐zookeeper‐3.5.9‐bin.tar.gz
# 复制一份配置文件, 方便修改
cp conf/zoo_sample.cfg conf/zoo.cfg
# 启动
bin/zkServer.sh start
# 连接控制台
bin/zkCli.sh
# 查看zk的根目录相关节点
ls /
3、安装kafka
下载地址:http://archive.apache.org/dist/kafka/
# 解压 kafka
tar ‐xzf kafka_2.12‐3.1.0.tgz
# 修改配置文件
vim config/server.config
# The id of the broker. This must be set to a unique integer for each broker.
broker.id=0
listeners=PLAINTEXT://:9092
advertised.listeners=PLAINTEXT://10.128.106.99:9092
# kafka 连接 zookeeper 的地址
zookeeper.connect=127.0.0.1:2181
# 启动
bin/kafka‐server‐start.sh config/server.properties
# 启动成功后,可以进入zookeeper 查看kafka节点
bin/zk.Cli.sh
ls /
4、创建主题
./bin/kafka-topics.sh --bootstrap-server localhost:9092 --create --topic test
5、查看主题列表
./bin/kafka-topics.sh --list --bootstrap-server localhost:9092
6、发送消息到主题
./kafka-console-producer.sh --bootstrap-server localhost:9092 --topic test
7、查看主题消息
bin/kafka-console-consumer.sh --bootstrap-server localhost:9092 --topic test --from-beginning
8、查看主题分区等
bin/kafka-topics.sh --describe --bootstrap-server localhost:9092 --topic aiopsspan_glxxxt
9、写入性能
./bin/kafka-producer-perf-test.sh --num-records 10000000 --record-size 1000 --topic test2 --throughput 100000 --producer-props bootstrap.servers=localhost:9092
10、读取性能
./bin/kafka-consumer-perf-test.sh --broker-list localhost:9092 --topic test2 --messages 1000000 --fetch-size 1048576 --threads 10
4、测试结果说明:
2022-12-25 20:47:06:059, 2022-12-25 20:47:27:463, 265.5020, 12.4043, 278399, 13006.8679, 666, 20738, 12.8027, 13424.5829
最大吞吐率265.5020MB/s,平均每秒消费12.4043MB/s,最大每秒消费278399条,平均每秒消费13006.8679条