目录

 

一、安装JDK

二、安装Kafak

三、创建启动和关闭的 kafka 执行脚本

四、创建生产者 topic 和 消费者 topic 简单示例

五、查看运行的进程 和 当前topic


一、安装JDK

安装jdk1.8版本

yum install -y java-1.8.0-openjdk.x86_64

查询jdk版本

java -version

如果能查看到jdk的版本信息,这样就安装成功了。默认给安装到usr/lib/jvm/

二、安装Kafak

1、下载kafka

(1)到kafka的官网,去下载想用的kafka包:http://kafka.apache.org/downloads

(2)我这里下载的是:kafka_2.12-2.4.1.tg

(3)将安装包传送到服务器并解压(默认这里解压了就是安装路径了,可以自己斟酌):

         比如我的是上传和解压到  /mnt/,如下图

命令查看kafka版本 如何查看kafka版本_java

tar -zxvf kafka_2.12-2.4.1.tgz

2、配置kafka

(1)在kafka解压目录同一路径下:创建一个kafka_data,用于装kafka和zookeeper的log和数据啥的!

mkdir -p /mnt/soft/kafka_data
mkdir -p /mnt/soft/kafka_data/zookeeper  #zookeeper数据目录
mkdir -p /mnt/soft/kafka_data/log 
mkdir -p /mnt/soft/kafka_data/log/kafka  #kafka日志
mkdir -p /mnt/soft/kafka_data/log/zookeeper  #zookeeper日志

(2)配置kafka服务

cd /mnt/kafka_2.12-2.4.1/config/
vim server.properties 编辑修改相应的参数,内容改动和添加如下:
:wq! #保存退出

broker.id=0
port=9092                                                #端口号
host.name=172.30.200.98                      #服务器IP地址,修改为自己的服务器IP
log.dirs=/mnt/soft/kafka_data/log/kafka   #日志存放路径,上面创建的目录
zookeeper.connect=localhost:2181         #zookeeper地址和端口,单机配置部署,localhost:2181

3、配置zookeeper服务

cd /mnt/kafka_2.12-2.4.1/config/
vim zookeeper.properties 编辑修改相应的参数,内容改动和添加如下:
:wq! #保存退出
dataDir=/mnt/soft/kafka_data/zookeeper   #zookeeper数据目录
dataLogDir=/mnt/soft/kafka_data/log/zookeeper #zookeeper日志目录
clientPort=2181
maxClientCnxns=100
tickTimes=2000
initLimit=10
syncLimit=5

三、创建启动和关闭的 kafka 执行脚本

cd /mnt/kafka_2.12-2.4.1/

1. 创建启动脚本  # vim kafka_start.sh, 里边内容为:

#!/bin/sh
#启动zookeeper
/mnt/kafka_2.12-2.4.1/bin/zookeeper-server-start.sh /mnt/kafka_2.12-2.4.1/config/zookeeper.properties &
 
sleep 3 #等3秒后执行
 
#启动kafka
/mnt/kafka_2.12-2.4.1/bin/kafka-server-start.sh /mnt/kafka_2.12-2.4.1/config/server.properties &

2. 创建关闭脚本  # vim kafka_stop.sh, 里边内容为:

#!/bin/sh
#关闭zookeeper
/mnt/kafka_2.12-2.4.1/bin/zookeeper-server-stop.sh /mnt/kafka_2.12-2.4.1/config/zookeeper.properties &
 
sleep 3 #等3秒后执行
 
#关闭kafka
/mnt/kafka_2.12-2.4.1/bin/kafka-server-stop.sh /mnt/kafka_2.12-2.4.1/config/server.properties &

至此,在kafka路径下,就有了两个脚本了。一个是启动脚本,一个是关闭脚本!!!如下:

命令查看kafka版本 如何查看kafka版本_java_02

3. 为脚本执行权限

chmod +x kafka_start.sh

chmod +x kafka_stop.sh

4. 启动和关闭kafka

cd /mnt/kafka_2.12-2.4.1
sh kafka_start.sh #启动kafka
sh kafka_stop.sh #关闭kafka

5. 启动脚本,设置开机自启动

vi /etc/rc.d/rc.local #编辑,在最后添加一行
sh /usr/local/kafka/kafka_start.sh & #设置开机自动在后台运行脚本

至此,Linux下Kafka单机安装配置完成。。。

四、创建生产者 topic 和 消费者 topic 简单示例

1. 在一个终端执行创建生产者: (推消息到wd_test)

cd /mnt/kafka_2.12-2.4.1/bin/ #进入kafka目录
./kafka-console-producer.sh --broker-list 192.168.23.31:9092 --topic wd_test  #(注:wd_test你要建立的topic名)

2. 在另一个终端执行创建消费者:(从wd_test上消费消息)

cd /mnt/kafka_2.12-2.4.1/bin/ #进入kafka目录
./kafka-console-consumer.sh --bootstrap-server 192.168.23.31:9092 --topic wd_test #消费wd_test的topic消息

3. 查看效果: 一个终端不断输入推送的消息,另一个终端则消费这个消息 

命令查看kafka版本 如何查看kafka版本_kafka_03

命令查看kafka版本 如何查看kafka版本_命令查看kafka版本_04

五、查看运行的进程 和 当前topic

(1)# jps:查看服务,如果下面两个标红的存在,说明zookeeper和kafka 启动了。

命令查看kafka版本 如何查看kafka版本_MQ_05

(2)查看当前的一些topic

cd /mnt/kafka_2.12-2.4.1/bin/

./kafka-topics.sh --zookeeper localhost:2181 --list

命令查看kafka版本 如何查看kafka版本_kafka_06