kafka命令查询认证方式 kafka开启认证

转载

技术领航舵手 2025-06-08 14:32:42

文章标签 kafka命令查询认证方式网络安全学习面试 kafka 文章分类 架构后端开发

authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
 jaasLoginRenew=3600000
 requireClientAuthScheme=sasl
 zookeeper.sasl.client=true#### 2. 配置zookeeper **JAAS**


cat zk\_jaas.conf文件内容如下，如果没有改文件则使用vi命令编辑Server {
 org.apache.zookeeper.server.auth.DigestLoginModule required
 username=“admin”
 password=“admin123”
 user_kafka=“kafka123”;
 };

1. 注意：admin用户 是zk 集群之间使用的。kafka用户 是 broker 与 zk 之间使用的。


#### 3. **修改zkEnv.sh**

将上一步添加的 jaas 配置文件添加到zookeeper的环境变量中，zkEnv.sh文件最后添加一行：

vim zkEnv.sh

ZOOBINDIR=“ $kafka命令查询认证方式 kafka开启认证_网络安全$ {ZOOBINDIR}/…”

添加如下新增变量SERVER_JVMFLAGS：

export SERVER_JVMFLAGS=“-Djava.security.auth.login.config=…/conf/zk_jaas.conf”

### 配置kafka sasl动态认证

SASL/SCRAM认证是把凭证(credential)存储在Zookeeper，使用kafka-configs.sh在Zookeeper中创建凭据。对于每个SCRAM机制，必须添加具有机制名称的配置来创建凭证，所以在启动Kafka broker之前需要创建代理间通信的凭据。

这里配置的 Kafka和生产者/消费者之间采用SASL/PLAIN和SASL/SCRAM两种方式共同完成认证，授权使用ACL方式。PLAIN方式的用户是在jaas文件中写死的，不能动态的添加；SCRAM支持动态的添加用户。

#### 1. 创建用户


配置SASL/SCRAM认证的第一步，是配置可以连接到kafka集群的用户。本案例创建了3个用户：admin，producer，consumer。kafka\_server\_admin用户用于broker之间的认证通信，producer用户用于生产者连接kafka，consumer用户用于消费者连接kafka 。

./kafka-configs.sh --zookeeper localhost:2181 --alter --add-config ‘SCRAM-SHA-256=[iterations=8192,password=admin123],SCRAM-SHA-512=[password=admin123]’ --entity-type users --entity-name admin
./kafka-configs.sh --zookeeper localhost:2181 --alter --add-config ‘SCRAM-SHA-256=[iterations=8192,password=admin123],SCRAM-SHA-512=[password=admin123]’ --entity-type users --entity-name producer
./kafka-configs.sh --zookeeper localhost:2181 --alter --add-config ‘SCRAM-SHA-256=[iterations=8192,password=admin123],SCRAM-SHA-512=[password=admin123]’ --entity-type users --entity-name consumer



kafka-configs 脚本是用来设置主题级别参数的。其实，它的功能还有很多。比如在这个例子中，我们使用它来创建 SASL/SCRAM 认证中的用户信息。可以使用下列命令来查看刚才创建的用户数据。

/kafka-configs.sh --zookeeper localhost:2181 --describe --entity-type users
#（可以单独指定某个用户 --entity-name producer，如下）
 ./kafka-configs.sh --zookeeper localhost:2181 --describe --entity-type users --entity-name producer![]()


![]()ZK客户端命令行查看：
./zkCli.sh -server localhost:2181
ls /config/users

![]()


#### 3. **配置kafka jaas文件**


配置了用户之后，我们需要为 Broker 创建一个对应的 JAAS 文件。在实际场景中，需要为每台单独的物理 Broker 机器都创建一份 JAAS 文件。


Kafka 的 jaas认证配置文件，配置的是登录类，超管密码和管理的帐号密码列表


vim kafka\_server\_jaas.conf

KafkaServer {
 org.apache.kafka.common.security.scram.ScramLoginModule required
 username =“admin”
 password=“admin123”
 user_admin=“admin123”
 user_producer=“producer123”
 user_consumer=“consumer123”;
 };
 KafkaClient {
 org.apache.kafka.common.security.scram.ScramLoginModule required
 username=“admin”
 password=“admin123”
 user_producer=“producer123”
 user_consumer=“consumer123”;
 };
 Client {
 org.apache.kafka.common.security.scram.ScramLoginModule required
 username=“kafka”
 password=“kafka123”;
 };

KafkaServer中usename配置的是kafka服务端使用的账号和密码，后面的user\_xxx事预设的普通帐号认证信息。  
    
 中间部分配置的是PLAIN认证方式的账户和密码，其中producer1是账户名，producer123是密码。  
 Client配置了broker到Zookeeper的连接用户名密码，这里要和前面zookeeper配置中的zk\_jaas.conf.conf 中 user\_kafka 的账号和密码相同。  
    
 关于这个文件内容，需要注意以下两点：  
    
 1）不要忘记最后一行和倒数第二行结尾处的分号；  
    
 2）JAAS 文件中不需要任何空格键。


#### 4. **kafka 配置文件启用SASL认证**


Kafka 服务配置文件 server.propertis，配置认证协议及认证实现类  
 cat server.properties其它内容都注释掉，然后追加如下内容：

KafkaServer中usename配置的是kafka服务端使用的账号和密码，后面的user\_xxx事预设的普通帐号认证信息。  
    
 中间部分配置的是PLAIN认证方式的账户和密码，其中producer1是账户名，producer123是密码。  
 Client配置了broker到Zookeeper的连接用户名密码，这里要和前面zookeeper配置中的zk\_jaas.conf.conf 中 user\_kafka 的账号和密码相同。  
    
 关于这个文件内容，需要注意以下两点：  
    
 1）不要忘记最后一行和倒数第二行结尾处的分号；  
    
 2）JAAS 文件中不需要任何空格键。


#### 4. **kafka 配置文件启用SASL认证**


Kafka 服务配置文件 server.propertis，配置认证协议及认证实现类  
 cat server.properties其它内容都注释掉，然后追加如下内容：broker.id=0
 listeners=SASL_PLAINTEXT://:9092
 advertised.listeners=SASL_PLAINTEXT://localhost:9092
 sasl.enabled.mechanisms=SCRAM-SHA-256,PLAIN
 sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
 security.inter.broker.protocol=SASL_PLAINTEXT
 allow.everyone.if.no.acl.found=false
 authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
 super.users=User:admin
 num.network.threads=3
 num.io.threads=8
 socket.send.buffer.bytes=102400
 socket.receive.buffer.bytes=102400
 socket.request.max.bytes=104857600
 log.dirs=/tmp/kafka/logs
 num.partitions=3
 num.recovery.threads.per.data.dir=1
 offsets.topic.replication.factor=2
 transaction.state.log.replication.factor=1
 transaction.state.log.min.isr=1
 log.flush.interval.messages=10000
 log.flush.interval.ms=1000
 log.retention.hours=168
 log.retention.bytes=1073741824
 log.segment.bytes=1073741824
 log.retention.check.interval.ms=300000
 delete.topic.enable=true
 auto.create.topics.enable=false
 zookeeper.connect=localhost:2181
 zookeeper.connection.timeout.ms=60000
 group.initial.rebalance.delay.ms=0

Host.name=43.138.0.199

#### 5. **kafka 启动脚本添加认证文件路径的环境变量**


Kafka 安全认证可以直接通过环境变量 -Djava.security.auth.login.config 设置，修改 Kafka 启动脚本 kafka-start-server.sh 文件最后一行，增加一个参数指向 jaas 配置文件的绝对路径


vi kafka-server-start.sh

exec $base_dir/kafka-run-class.sh $kafka命令查询认证方式 kafka开启认证_kafka命令查询认证方式_02$ @"

####  6. **kafka客户端配置**


1) 配置consumer.properties和producer.properties,都要加入以下配置

security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-512

2) 生产者配置


使用kafka-console-producer.sh脚本测试生产者，由于开启安全认证和授权，此时使用console-producer脚本来尝试发送消息，那么消息会发送失败，原因是没有指定合法的认证用户，因此客户端需要做相应的配置，需要创建一个名为producer.conf的配置文件给producer程序使用。


config目录下创建一个producer.conf的文件，cat producer.conf文件内容如下：

security.protocol=SASL_PLAINTEXT
 sasl.mechanism=SCRAM-SHA-256
 sasl.jaas.config=org.apache.kafka.common.security.scram.Scra
 mLoginModule required username=“producer” password=“producer123”;

注意：Topic设置写权限


3) 消费者配置


使用kafka-console-consumer.sh脚本测试生产者，由于开启安全认证和授权，因此客户端需要做相应的配置。需要为 consumer 用户创建consumer.conf给消费者程序，同时设置对topic的读权限。


config目录下创建一个consumer.conf的文件，cat consumer.conf文件内容如下：

security.protocol=SASL_PLAINTEXT
 sasl.mechanism=SCRAM-SHA-256
 sasl.jaas.config=org.apache.kafka.common.security.scram.Scra
 mLoginModule required username=“consumer” password=“consumer123”;

注意：Topic设置读权限。


4) 在生产者和消费者启动脚本中引入JAAS文件

vim bin/kafka-console-producer.sh
if [ “x$KAFKA_HEAP_OPTS” = “x” ]; then
 export KAFKA_HEAP_OPTS=“-Xmx512M”
 fi

添加这行

export KAFKA_OPTS=“-Djava.security.auth.login.config=…/config/kafka_server_jaas.conf”

exec $(dirname $kafka命令查询认证方式 kafka开启认证_kafka命令查询认证方式_03$ @"

vim bin/kafka-console-consumer.sh

if [ “x$KAFKA_HEAP_OPTS” = “x” ]; then
 export KAFKA_HEAP_OPTS=“-Xmx512M”
 fi

添加这行

export KAFKA_OPTS=“-Djava.security.auth.login.config=…/config/kafka_server_jaas.conf”

exec $(dirname $kafka命令查询认证方式 kafka开启认证_学习_04$ @"

### 启动kafka

nohup kafka-server-start.sh /path-to-kafka/config/server.properties &

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。

上一篇：android system引用vendor android system view

下一篇：本地代码连接gitlab gitlab拉项目到本地

提问和评论都可以，用心的回复会被更多人看到评论

发布评论

相关文章

官方博客	全部文章	热门标签	班级博客
了解我们	网站地图	意见反馈

鸿蒙开发者社区	51CTO学堂
51CTO	软考资讯