背景
承接上篇,继续 Kafka 的简单帐号密码认证的 SASL/SCRAM 认证方式这里会多增加一步密钥注册到 Zookeeper 的操作。
本文的实践过程中,Kafka 版本为 kafka_2.11-2.3.1
,只对 Kafka 服务做安全认证;Zookeeper 使用自带的,不做安全认证。
关键配置列表:
- Kafka 服务配置文件
server.propertis
,配置认证协议及认证实现类; - Kafka 的 jaas.config 认证配置文件,登录类,超管密码和管理的帐号密码列表;
- Kafka 服务启动脚本
kafka-start-server.sh
,设置安全认证环境变量; - Kafka 认证文件中各个密钥注册。
- Kafka 客户端连接配置认证属性。
1、Kafka 服务配置文件
进入 kafka 应用的 config 目录,修改 server.properties
文件,在尾部添加认证协议配置:
# 修改listeners
listeners=SASL_PLAINTEXT://:9092
# 权限配置
allow.everyone.if.no.acl.found=true
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
security.inter.broker.protocol=SASL_PLAINTEXT
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
sasl.enabled.mechanisms=SCRAM-SHA-256
super.users=User:admin
配置说明:
与 Plain 的区别在于:
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
sasl.enabled.mechanisms=SCRAM-SHA-256
即指定 SASL 的安全认证方式为 SCRAM,这是一种加密算法。有没有其他的值呢?
特别注意:这里认证监听配置 listeners 中,默认的 hostname 是 localhost ,如果需要被远程主机连接,必须改为特定 IP
listeners=SASL_PLAINTEXT://192.xx.xx.xxx:9092
这里的 IP 决定了认证流程中的
public SaslClientAuthenticator(Map<String, ?> configs, String node, Subject subject, String servicePrincipal, String host, String mechanism, boolean handshakeRequestEnable, TransportLayer transportLayer) throws IOException {
this.node = node;
this.subject = subject;
this.host = host;
}
这里的 host 属性,如果远程连接一个 添加了认证的 Kafka 服务器,而目标服务器默认是 localhost ,会无法成功连接。
2、Kafka jaas 认证配置文件
在 config 目录下创建一个 jaas 配置文件 kafka-server-jaas-scram.conf
,使用 SCRAM 帐号密码方式,配置内容如下:
KafkaServer {
org.apache.kafka.common.security.scram.ScramLoginModule required
username="admin"
password="admin"
user_admin="admin"
user_test1="test1"
user_test2="test2"
user_test3="test3"
user_test4="test4";
};
基本语法注意事项:
- 第一行:固定名称指定 KafkaServer 端的配置。
- 第二行:安全认证类名为
ScramLoginModule
,与 Kafka 属性文件中的协议类型一致。 - 第三、四行:服务端使用的帐号和密码。
- 第五行,超管帐号的密码。
- 后面都是预设普通帐号认证信息,语法为
user_真正的用户名=''密码"
- 最后一行用户名密码定义后,必须以分号
;
结尾。
3、Kafka 启动脚本添加认证文件路径的环境变量
Kafka 安全认证可以直接通过环境变量 -Djava.security.auth.login.config
设置,修改 Kafka 启动脚本 kafka-start-server.sh 文件最后一行,增加一个参数指向第二步的 jaas 配置文件的绝对路径:
exec $base_dir/kafka-run-class.sh $EXTRA_ARGS -Djava.security.auth.login.config=/Downloads/kafka_2.11-2.3.1/config/kafka-server-jaas-scram.conf kafka.Kafka "$@"
4、启动 Kafka
第一步,启动 Zookeeper
bin/zookeeper-server-start.sh config/zookeeper.properties
第二步,向 Zookeeper 注册 jaas.config 文件中定义的各个用户的密码,这里只注册两个,超管和 test1 :
bin/kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'SCRAM-SHA-256=[password=admin]' --entity-type users --entity-name admin
bin/kafka-configs.sh --zookeeper localhost:2181 --alter --add-config 'SCRAM-SHA-256=[password=test1]' --entity-type users --entity-name test1
这一步必须配置,否则启动 Kafka 的时候会报错:
Authentication failed during authentication due to invalid credentials with SASL mechanism SCRAM-SHA-256 (org.apache.kafka.clients.NetworkClient)
第三步,启动 Kafka
bin/kafka-server-start.sh config/server.properties
5、Kafka 连接客户端认证配置
用户 Java 编写一个 Kafka 消费者,用帐号 test1/test1
进行安全认证,主要代码如下:
//默认是30000ms
kafkaProps.put(DataShareConstant.REQUEST_TIMEOUT, "5000");
kafkaProps.put("transaction.timeout.ms", "5000");
kafkaProps.put("max.block.ms", "5000"); // 该属性决定连接超时的
kafkaProps.setProperty("security.protocol", SecurityProtocol.SASL_PLAINTEXT.name);
kafkaProps.put(SaslConfigs.SASL_MECHANISM, "SCRAM-SHA-256");
kafkaProps.put(SaslConfigs.SASL_JAAS_CONFIG, "org.apache.kafka.common.security.scram.ScramLoginModule required username=\"test1\" password=\"test1\";");
注意,这里设置 JAAS 属性需要与 Kafka Server 中的属性一致:
- 安全认证协议类型:security.protocol,SASL
- SASL 的协议类型,PLAIN
- SASL 认证配置信息,
PlainLoginModule
,帐号密码来自第二步配置预设的帐号。
值得注意的是,在做 Kafka 连通性测试时,因为 Kafka 存在失败重试机制,建议用同步请求,配置 max.block.ms
设置连接超时时间,迅速获取连接结构。
它默认是一分钟,如果需要通过页面配置 Kafka 信息,这个默认时间是不友好的。
启示录
Plain 模式的 SASL 安全认证实践起来比较容易,主要就是注意客户端和服务端协议类型的一致。
有几个常见问题:
1、如果服务器配置是 PLAIN,而客户端使用 SCRAM,则会报异常:
org.apache.kafka.common.errors.UnsupportedSaslMechanismException: Client SASL mechanism 'PLAIN' not enabled in the server, enabled mechanisms are [SCRAM-SHA-256]
2、客户端使用普通帐号,没有配置 ACL 权限时,默认写入 Kafka 时会报认证失败错误:Invalid username or password
,这时帐号密码没问题的话,需要检查 ACL 权限。
3、Kafka 服务端的安全认证配置文件必须注册到 Zookeeper 中才能生效。