Kafka安装教程及遇到的坑
一. windows环境
由于kafka运行需要依赖JDK和zookeeper环境,因此需要先安装JDK和zookeeper。
JDK环境
JDK环境安装比较简单,不做过多赘述
zookeeper环境
(1)单独安装zookeeper环境,可参考另一篇博客(zookeeper安装教程)
(2)使用kafka最新版本内部自带的zookeeper
1. 下载kafka安装包
下载地址 注意要下载二进制版本,如下图
下载后如下图示tar.gz压缩文件
2. 修改配置文件
直接解压,进入config目录,编辑server.properties,
2.1 设置kafka监听端口
2.2 设置log路径
2.3 设置zookeeper连接配置,可自定义
3. 启动kafka
两种方式:
3.1 启动非内置zookeeper,然后启动kafka
启动方法详见另一篇博客(zookeeper安装教程)
3.2 启动内置zookeeper,然后启动kafka
注意
3.2.1 修改内置zookeeper配置文件(zookeeper.properties)
3.2.2 运行内置zookeeper
注意:此处需要修改kafka安装包解压后的文件夹名称,否则不能运行。
进入kafka根目录
执行下面命令:
bin\windows\zookeeper-server-start.bat config\zookeeper.properties
3.2.3 运行kafka
.\bin\windows\kafka-server-start.bat .\config\server.properties
运行成功
二. kafka简单使用
1. 创建主题topic
进入kafka安装目录, 运行命令:
bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test-topic
2. 查看已创建的主题
进入kafka安装目录, 运行命令:
bin\windows\kafka-topics.bat --list --bootstrap-server localhost:9092
3. 创建生产者
进入kafka安装目录, 运行命令,启动生产者:
bin\windows\kafka-console-producer.bat --broker-list localhost:9092 --topic test-topic
输入要发送的消息
4. 创建消费者
进入kafka安装目录, 运行命令,启动消费者:
bin\windows\kafka-console-consumer.bat --bootstrap-server localhost:9092 --topic test-topic --from-beginning
此处,输入中文会乱码,暂时还没找到解决办法,带后续补充。。。
三. 遇到的坑
问题1:运行kafka集成的zookeeper时,命令:bin\windows\zookeeper-server-start.bat config\zookeeper.properties,出现报错:命令语法不正确。
原因:
直接解压后的文件夹名称为:kafka_2.13-3.1.0,将文件夹名称改为其他名称即可正常运行,如图
修改后,正常启动
问题2:运行kafka创建topic时,出现报错:Exception in thread “main” joptsimple.UnrecognizedOptionException: zookeeper is not a recognized option。
原因:kafka最新版本创建主题topic方式已经改变,如果仍然按照以前的方式创建,就会出现该错误,例如使用如下命令:
bin\windows\kafka-topics.bat --create --zookeeper localhost:2181 --replication-factor 1 --partitions 1 --topic test-topic
使用最新的命令即可解决:
bin\windows\kafka-topics.bat --create --bootstrap-server localhost:9092 --replication-factor 1 --partitions 1 --topic test-topic