一.下载
1.下载安装
2.解压
解压命令:tar –zxvf kafka_2.13-2.4.0.tgz
移动: cp -R kafka_2.13-2.4.0 /zjl/program/
创建软链接: ln -s kafka_2.13-2.4.0/ /zjl/program/kafka
解压后即可使用
3.配置kafka
配置server.properties
位置: /kafka/config
默认配置advertised.listeners=PLAINTEXT://your.host.name:9092
修改为advertised.listeners=PLAINTEXT://ip:9092
例:advertised.listeners=PLAINTEXT://192.168.244.128:9092
1.ip为服务器ip
2.hostname和端口是用来建议给生产者和消费者使用的,如果没有设置,将会使用listeners的配置,如果listeners也没有配置,将使用java.net.InetAddress.getCanonicalHostName()来获取这个hostname和port,对于ipv4,基本就是localhost了。
3."PLAINTEXT"表示协议,可选的值有PLAINTEXT和SSL,hostname可以指定IP地址,也可以用"0.0.0.0"表示对所有的网络接口有效,如果hostname为空表示只对默认的网络接口有效。也就是说如果你没有配置advertised.listeners,就使用listeners的配置通告给消息的生产者和消费者,这个过程是在生产者和消费者获取源数据(metadata)。
主要注意三个配置:
1.broker.id标识本机
2.log.dirs是kafka接收消息存放路径
3.zookeeper.connect指定连接的zookeeper集群地址
二 . kafka 集群计划
三台机器:192.168.244.128 192.168.244.130 192.168.244.131
修改server.properties文件,只修改三项,其他根据需要配置
192.168.244.128
broker.id=1 log.dirs=/zjl/program/kafka/datalogs/kafka-logs zookeeper.connect=192.168.244.128:2181,192.168.244.130:2181,192.168.244.131:2181
192.168.244.130
broker.id=2 log.dirs=/zjl/program/kafka/datalogs/kafka-logs zookeeper.connect=192.168.244.128:2181,192.168.244.130:2181,192.168.244.131:2181
192.168.244.131
broker.id=3 log.dirs=/zjl/program/kafka/datalogs/kafka-logs zookeeper.connect=192.168.244.128:2181,192.168.244.130:2181,192.168.244.131:2181
三.启动
三个节点分别执行:
nohup ./kafka-server-start.sh -daemon ../config/server.properties &
启动时若报错java.net.UnknownHostException XXX
命令查看:hostname 打印出本机hostname 我的机器是 zjlLinux1
修改文件 :vim /etc/hosts
添加内容 192.168.244.128 zjlLinux1 #ip是本机IP 后边是hostname
四. 校验启动是否成功
- jps
- ps –ef|grep kafka
五. kafka-manager
下载地址:https://github.com/yahoo/kafka-manager/releases
https://github.com/yahoo/CMAK/releases
编译
tar -zxvf 1.3.3.17.tar.gz
cd kafka-manager-1.3.3.17/
./sbt clean dist
配置
在解压后的conf目录中打开 application.conf文件,修改其中的配置信息,最主要的内容为:kafka-manager.zkhosts="192.168.1.22:2181,192.168.1.23:2181,192.168.1.24:2181" 配置为Kafka的 zookeeper 服务器。你还可以通过环境变量ZK_HOSTS配置这个参数值。
启动
在解压的目录中,使用下面的命令启动Kafka-manager : bin/kafka-manager
默认情况下端口为9000,你还可以通过下面的命令指定配置文件和端口: bin/kafka-manager -Dconfig.file=/path/to/application.conf -Dhttp.port=9000
启动后,从浏览器打开:http://[服务器IP]:9000/ 就可以看到配置页面了
六.kafka基本命令操 作
1.创建topic
./kafka-topics.sh --create --zookeeper 192.168.244.128:2181,192.168.244.130:2181,192.168.244.131:2181 --replication-factor 3 --partitions 6 --topic kfk_test
2.列出创建的topic
./kafka-topics.sh --list --zookeeper 192.168.244.128:2181,192.168.244.130:2181,192.168.244.131:2181
3. 生成数据
注意这里的端口号是kafka的端口 9092
./kafka-console-producer.sh -broker-list 192.168.244.128:9092,192.168.244.130:9092,192.168.244.131:9092 --topic kfk_test
4.消费生产数据
kafka 0.9版本之前用zookeeper
./kafka-console-consumer.sh --zookeeper 192.168.244.128:2181,192.168.244.130:2181,192.168.244.131:2181 --from-beginning --topic kfk_test
kafka 0.9版本之后不推荐zookeeper方式,仍然支持,但逐渐会被取消,推荐bootstrap-server方式
注意这里的端口号是kafka的端口 9092
./kafka-console-consumer.sh --bootstrap-server 192.168.244.128:9092,192.168.244.130:9092,192.168.244.131:9092 --from-beginning --topic kfk_test
6.查看指定topic信息
./kafka-topics.sh --describe --zookeeper 192.168.244.128:2181,192.168.244.130:2181,192.168.244.131:2181 --topic kfk_test
7 删除kafka中的topic
./kafka-topics.sh --delete --zookeeper 192.168.244.128:2181,192.168.244.130:2181,192.168.244.131:2181 --topic kfk_test
七.删除zookeeper中的topic信息
- rmr /brokers/topics/kfk_test
- rmr /config/topics/kfk_test
- rmr /admin/delete_topics/kfk_test
- rmr /consumers/kfk_test-group
删除topic数据相关的目录
rm -rf /var/local/kafka/data/kfk_test*
八 .kafka中zookeeper参数配置
-
zookeeper.connect = localhost:
2181 zookeeper集群的地址,可以是多个,多个之间用逗号分割 hostname1:port1,hostname2:port2,hostname3:port3
-
zookeeper.session.timeout.ms=
6000 ZooKeeper的最大超时时间,就是心跳的间隔,若是没有反映,那么认为已经死了,不易过大
-
zookeeper.connection.timeout.ms =
6000 ZooKeeper的连接超时时间
-
zookeeper.sync.time.ms =
2000 zookeeper的follower同leader的同步时间