kafka系列--安装

原创

Dlimeng 2021-08-31 09:21:49 博主文章分类：kafka ©著作权

文章标签 kafka hadoop zookeeper sed 持久化 文章分类 Python 后端开发

©著作权归作者所有：来自51CTO博客作者Dlimeng的原创作品，请联系作者获取转载授权，否则将追究法律责任

安装jdk略，zookeeper略
创建消息持久化目录
/mnt/hadoop/kafka/kafkaLogs

下载kafka
wget http://www-eu.apache.org/dist/kafka/0.10.2.1/kafka_2.11-0.10.2.1.tgz
tar –zxvf kafka_2.11-0.10.2.1.tgz –C /mnt/Hadoop

修改配置
config/
vi server.properties
broker.id=0 一个节点一个号，顺序排列
delete.topic.enable=true 设置true,否则只是标记删除

auto.create.topics.enable=false 关闭自动创建topic

listeners=PLAINTEXT://0.0.0.0:9092

advertised.listeners=PLAINTEXT://ip:9092 监听地址，kafka-0.9以后,舍弃advertised.host.name
log.dirs=/mnt/hadoop/kafka/kafkaLogs 消息持久化目录
zookeeper.connect=ip:2181 调zk集群

scp –r /mnt/hadoop/kafka root@ip:/mnt/ hadoop/
在其他节点上修改server.properties
broker.id=1 数字依次排序
listeners=PLAINTEXT://0.0.0.0:9093

advertised.listeners=PLAINTEXT://ip:9093

开启kafka 进程名为kafka，在每个节点下运行

nohup bin/kafka-server-start.sh -daemon config/server.properties &

停止kafka
bin/kafka-server-stop.sh

kafka常用操作命令：
查看当前服务器中的所有topic

bin/kafka-topics.sh --list --zookeeper bigdata1:2181

创建topic
./kafka-topics.sh --create --zookeeper bigdata1:2181 --replication-factor 1 --partitions 3 --topic first

删除topic

sh bin/kafka-topics.sh --delete --zookeeper bigdata1:2181 --topic test
需要server.properties中设置delete.topic.enable=true否则只是标记删除或者直接重启。

通过shell命令发送消息

kafka-console-producer.sh --broker-list bigdata1:9092 --topic itheima
通过shell消费消息

sh bin/kafka-console-consumer.sh --zookeeper bigdata1:2181 --from-beginning --topic test1

查看消费位置
sh kafka-run-class.sh kafka.tools.ConsumerOffsetChecker --zookeeper bigdata1:2181 --group testGroup

查看某个Topic的详情

sh kafka-topics.sh --topic test --describe --zookeeper bigdata1:2181

单节点下的多个broker：
创建消息持久化目录
kafkaLogs-1
kafkaLogs-2

在config下复制
cp server.properties server-1.properties
cp server.properties server-2.properties

server-1.properties：
listeners=PLAINTEXT://0.0.0.0:9093
advertised.listeners=PLAINTEXT://ip:9093
broker.id=0
log.dirs=/mnt/hadoop/kafka/kafkaLogs-1

server-2.properties：
listeners=PLAINTEXT://0.0.0.0:9094
advertised.listeners=PLAINTEXT://ip:9094
broker.id=1
log.dirs=/mnt/hadoop/kafka/kafkaLogs-2

JMX_PORT=9997 /mnt/hadoop/kafka/bin/kafka-server-start.sh -daemon /mnt/hadoop/kafka/config/server-1.properties &
JMX_PORT=9998 /mnt/hadoop/kafka/bin/kafka-server-start.sh -daemon /mnt/hadoop/kafka/config/server-2.properties &