我的单机zookeeper安装目录:/usr/local/zookeeper

我的kafka安装目录:/usr/local/kafka

一、

配置zookeeper的配置文件

1、如果是嵌入式zookeeper(kafka自带的zookeeper)

修改/usr/local/kafka/config/zookeeper.properties文件,添加如下配置

authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
jaasLoginRenew=3600000
requireClientAuthScheme=sasl
zookeeper.sasl.client=true

2、如果是非嵌入式zookeeper(单机安装的zookeeper服务)

修改/usr/local/zookeeper/conf/zoo.cfg文件,添加和上面一样的配置

authProvider.1=org.apache.zookeeper.server.auth.SASLAuthenticationProvider
jaasLoginRenew=3600000
requireClientAuthScheme=sasl
zookeeper.sasl.client=true

 二、创建jaas文件

在zookeeper的安装目录下的conf目录下创建zk_jaas.conf文件,并编辑内容

嵌入式zookeeper目录:/usr/local/kafka/config/zk_jaas.conf

单机zookeeper目录:/usr/local/zookeeper/conf/zk_jaas.conf

Server {
   org.apache.zookeeper.server.auth.DigestLoginModule required
   username="admin"
   password="admin"
   user_admin="admin";
};

Client {
       org.apache.zookeeper.server.auth.DigestLoginModule required
       username="admin"
       password="admin";
};

user_admin="admin"的含义是user_username="password",添加一个用户名为admin,密码为admin的认证用户,用户名和密码可以自己定义。

三、配置zookeeper客户端环境变量

因为如果要连接zookeeper的话是需要通过SASL认证的,所以需要配置环境变量,这里的环境变量主要是使用到了zk_jaas.conf文件中的Client配置,会在连接时使用用户名和密码。

1、嵌入式zookeeper:

修改/usr/local/kafka/bin/zookeeper-server-start.sh文件

添加配置后如下:

#...前面的内容省略
COMMAND=$1
case $COMMAND in
  -daemon)
     EXTRA_ARGS="-daemon "$EXTRA_ARGS
     shift
     ;;
 *)
     ;;
esac
export KAFKA_OPTS="-Djava.security.auth.login.config=/opt/shakespeare/soft/zookeeper/apache-zookeeper-3.8.0-bin/conf/zk_jaas.conf ${KAFKAOPTS}" #这一行是要添加的内容
exec $base_dir/kafka-run-class.sh $EXTRA_ARGS org.apache.zookeeper.server.quorum.QuorumPeerMain "$@"

2、单机版zookeeper:

在/user/local/zookeeper/conf目录下创建一个java.env的文件,并且编辑添加如下内容

java.env:

export JVMFLAGS="-Djava.security.auth.login.config=/usr/local/zookeeper/conf/zk_jaas.conf ${JVMFLAGS}"

四、重启zookeeper服务

正常启动一般便无问题。

五、通过客户端连接文件连接zookeeper服务

1、嵌入式zookeeper:

/usr/local/kafka/bin/zookeeper-shell.sh {hostname}:{port}

例如:./zookeeper-shell.sh 192.168.2.2:2181

2、单机版zookeeper

/usr/local/zookeeper/bin/zkCli.sh -server {hostname}:{port}

例如:./zkCli.sh -server 192.168.2.2:2181

一般连接成功会有如下日志显示:

Welcome to ZooKeeper!
2022-09-02 11:42:06,369 [myid:192.168.2.2:2181] - INFO  [main-SendThread(192.168.2.2:2181):o.a.z.Login@317] - Client successfully logged in.
JLine support is enabled
2022-09-02 11:42:06,375 [myid:192.168.2.2:2181] - INFO  [main-SendThread(192.168.2.2:2181):o.a.z.u.SecurityUtils@70] - Client will use DIGEST-MD5 as SASL mechanism.
2022-09-02 11:42:06,543 [myid:192.168.2.2:2181] - INFO  [main-SendThread(192.168.2.2:2181):o.a.z.ClientCnxn$SendThread@1171] - Opening socket connection to server 192.168.2.2:2181.
2022-09-02 11:42:06,543 [myid:192.168.2.2:2181] - INFO  [main-SendThread(192.168.2.2:2181):o.a.z.ClientCnxn$SendThread@1173] - SASL config status: Will attempt to SASL-authenticate using Login Context section 'Client'
[zk: 192.168.2.2:2181(CONNECTING) 0] 2022-09-02 11:42:06,564 [myid:192.168.2.2:2181] - INFO  [main-SendThread(192.168.2.2:2181):o.a.z.ClientCnxn$SendThread@1005] - Socket connection established, initiating session, client: 192.168.2.2:56776, server: 192.168.2.2:2181
2022-09-02 11:42:06,585 [myid:192.168.2.2:2181] - INFO  [main-SendThread(192.168.2.2:2181):o.a.z.ClientCnxn$SendThread@1444] - Session establishment complete on server 192.168.2.2:2181, session id = 0x10003a960540000, negotiated timeout = 30000

WATCHER::

WatchedEvent state:SyncConnected type:None path:null

WATCHER::

WatchedEvent state:SaslAuthenticated type:None path:null

有较明显的Will attempt to SASL-authenticate using Login Context section 'Client'的提示

至此zookeeper的SASL配置完毕。

六、如何设置权限

zookeeper的sasl和普通的认证授权还不太一样

1、zookeeper默认允许匿名用户访问,如果不想让匿名用户访问某些则需要给节点单独设置ACL权限,配置完SASL后,连接zk客户端,然后可以给每个节点设置acl权限

setAcl /path sasl:admin:crdwa

2、zookeeper的3.6.0版本之后新增了一个环境变量sessionRequireClientSASLAuth

这个环境变量为true时要求客户端连接zk时必须进行SASL认证才可以连接成功,也就是说没有进行SASL认证的匿名用户就无法连接了,比第一步给每个节点设置ACL更方便一些,相当于在连接时设置了一个登录密码。

可以在单机版的zoo.cfg或嵌入式的zookeeper.properties里添加如下配置:

sessionRequireClientSASLAuth=true

7、kafka如何连接

配置完以上的认证后,启动kafka可能会报错。

原因:因为kafka依赖于zookeeper,要进行节点的访问,但是配置完后kafka也失去了权限,因此无法正常启动。

解决方法:在kafka安装目录下:/usr/local/kafka/bin/kafka-run-class.class目录下添加环境变量,如下:

#...前面的内容省略
base_dir=$(dirname $0)/..
KAFKA_OPTS="-Djava.security.auth.login.config=/usr/local/zookeeper/conf/zk_jaas.conf ${KAFKA_OPTS}" #要添加的行

if [ -z "$SCALA_VERSION" ]; then
  SCALA_VERSION=2.12.10
fi

然后重启kafka即可解决,原理和zk客户端连接原理一样,需要配置连接时的Client的用户名和密码,用户名和密码都在zk_jaas.conf文件里。