前言
kafka官网关于sasl_scram
鉴权Kafka消费端配置
创建SCRAM Credentials
依赖zk，需要先启动zk，然后在zk中创建存储SCRAM 凭证：
cd kafkacluster/kafka_2.11-1.1.1
bin/kafka-configs.sh --zookeeper zkIP1:2181,zkIP2:2181,zkIP3:2181/lxgkafka --alter --add-config 'SCRAM-SHA-256=[password=admin-secret],SCRAM-SHA-512=[password=admin-secret]' --entity-type users --entity-name admin
查看
bin/kafka-configs.sh --zookeeper zkIP1:2181,zkIP2:2181,zkIP3:2181/lxgkafka --describe --entity-type users --entity-name admin
删除
bin/kafka-configs.sh --zookeeper zkIP1:2181,zkIP2:2181,zkIP3:2181/lxgkafka --alter --delete-config 'SCRAM-SHA-512' --entity-type users --entity-name admin
存在问题
确认命令无误
zk创建目录
进入客户端：zk操作
KAFKA服务配置
创建Server的JAAS文件
在每个Kafka broker的config目录中添加一个类似下面的JAAS文件，我们称之为kafka_server_jaas.conf，这个文件我们用于启动Kafka服务端：
KafkaServer {
org.apache.kafka.common.security.scram.ScramLoginModule required
username="admin"
password="admin-secret";
};
修改启动命令kafka-server-start.sh
追加下面的内容，将配置注入运行环境：
#exec $base_dir/kafka-run-class.sh $EXTRA_ARGS kafka.Kafka "$@"
exec $base_dir/kafka-run-class.sh $EXTRA_ARGS -Djava.security.auth.login.config=$base_dir/../config/kafka_server_jaas.conf kafka.Kafka "$@"
$@
$@：打印所有的参数（一份数据）；
$*：打印所有的参数（参数个数个数据）；
$#: 打印参数个数；
[cbry@localhost test]$ sh test.sh arg0 arg2 arg3
print each param from “@”
arg0 arg2 arg3
print each param from “$#”
3
修改服务启动配置文件server.properties
vim config/server.properties
#鉴权
# 必须使用真实ip地址
listeners=SASL_PLAINTEXT://localhost:9092
#使用的认证协议
security.inter.broker.protocol=SASL_PLAINTEXT
#SASL机制
sasl.mechanism.inter.broker.protocol=SCRAM-SHA-256
sasl.enabled.mechanisms=SCRAM-SHA-256
# ACL配置
allow.everyone.if.no.acl.found=false
super.users=User:admin
authorizer.class.name=kafka.security.auth.SimpleAclAuthorizer
SCP分发集群
scp -r /realtime/cbry/software/kafka/ appuser@ip:/realtime//software/
重启kafka
ps -ef | grep server.properties，手动停止或者
./bin/kafka-server-stop.sh
./bin/kafka-server-start.sh -daemon config/server.properties
值得注意的是：-daemon使用守护进程启动，会只启动一个KAFKA进程。我在搭建不同端口的kafka的集群的时候遇到过这个问题，尽管他们的brokeId和端口不同。
多个不同端口的集群：
nohup sh kafka-server-start.sh ../config/server.properties >server.log 2>&1 &
配置生产者和消费者
consumer.properties和producer.properties
config下consumer.properties和producer.properties添加命令，里面默认是localhost:9092，改端口的这里也要改。
#security
security.protocol=SASL_PLAINTEXT
sasl.mechanism=SCRAM-SHA-256
配置生产者和消费者启动命令
不配置则报错：
配置sh文件, kafka-console-producer-admin.sh,该命令指定conf文件认证, 用于账号密码认证, 此处使用管理员账号进行sasl认证, 可以生产所有主题:
cp bin/kafka-console-producer.sh bin/kafka-console-producer-admin.sh
vim bin/kafka-console-producer-admin.sh
kafka-console-producer-admin.sh追加内容
#exec $(dirname $0)/kafka-run-class.sh kafka.tools.ConsoleProducer "$@"
exec $(dirname $0)/kafka-run-class.sh -Djava.security.auth.login.config=$(dirname $0)/../config/kafka_client_jaas_admin.conf kafka.tools.ConsoleConsumer "$@"同理生成：kafka-console-consumer-admin.sh
如果使用其它命令比如说：kafka-consumer-groups.sh，则也需要加上Client的验证信息：
新增配置文件：kafka_client_jaas_admin.conf
KafkaClient {
org.apache.kafka.common.security.scram.ScramLoginModule required
username="admin"
password="admin-secret";
};
启动生产者和消费者
sh bin/kafka-console-producer-admin.sh --broker-list kafkaIP:port --topic test --producer.config config/producer.propertiessh bin/kafka-console-consumer-admin.sh --bootstrap-server kafkaIP:port --topic test --consumer.config config/consumer.properties
配置鉴权后用鉴权启动
使用原先的provider和consumer会，必须用鉴权的provider/consumer-admin.sh和指定配置文件启动：
服务端部署
在IDE的控制台我们运行是没有问题的，但是在服务端部署的时候遇到：
这里需要我们在java程序的依赖目录lib下添加一个jdk的依赖：
nohup java -Djava.ext.dirs=/realtime/cbry/test/lib/ -cp /realtime/cbry/test/DataSourceAccessPage.jar com.cbry.adapter.JsonAdapter "" "" ""依赖位于JDK的目录：JDK\jre\lib\ext\sunjce_provider.jar，引入即可。
不同权限账户
不同的权限账户，在第一节的创建SCRAM凭证的时候，添加不同的账户并进行赋予读写赋权：
读赋权
./bin/kafka-acls.sh --authorizer-properties zookeeper.connect=zkIP1:2181,zkIP2:2181,zkIP3:2181/lxgkafka --add --allow-principal User:"cbry" --consumer --operation Read --topic 'Tecdata_test' --group '*'写赋权
./bin/kafka-acls.sh --authorizer-properties zookeeper.connect=zkIP1:2181,zkIP2:2181,zkIP3:2181/lxgkafka --add --allow-principal User:"cbry" --producer --operation Write --topic 'Tecdata_test' --group '*'查看权限
./bin/kafka-acls.sh --list --authorizer-properties zookeeper.connect=zkIP1:2181,zkIP2:2181,zkIP3:2181/lxgkafka
