cdh启动kafka cdh启用kerberos

搭建环境

多台linux主机搭建集群+CDH 6.3.2 (Parcel)版本+dolphinscheduler 1.3.2版本

本流程在CDH已搭建完成并可正常使用后，开启kerberos功能

dolphinscheduler用于大数据任务管理与执行，是很不错的任务调度平台，是否提前部署均可

开启kerberos目的：用于用户权限管理与安全认证，在开启kerberos之前的安全防护主要采取开启防火墙的方式，现在进行替换

本流程开启kerberos后可正常运行的服务包括：

CDH集群正常启用

linux用户创建kerberos权限

hive、hbase、hdfs等服务在主机可正常执行

dolphinscheduler安装正常，任务正常执行，定时任务正常执行

dolphinscheduler的租户权限正常，可进行大数据服务运行和使用

部署kerberos

1. 选择一台主机安装kerberos服务，执行用户为root

#server端lz1.cmp14722.app
sudo yum install krb5-server krb5-libs krb5-auth-dialog krb5-workstation -y

1. 同步执行集群主机安装client

#client lz1.cmp14722.app02 - lz5.cmp14722.app02
for item in `cat /etc/hosts | grep lz |awk '{print $2}'`; do ssh $item "hostname; yum install krb5-devel krb5-workstation -y" ; done

如果没有设置ssh免密登录其他主机，需要手动输入每个主机登录密码，建议设置，后面也会用到，设置方法网上很多，暂略。(与一台台主机自己安装一样)

插播一句，如果ssh免密登录设置后还是不能登录，可检查所有登录主机用户目录下的.ssh文件夹权限（700）以及文件夹内authorized_keys（600）文件权限

1. 配置文件

配置文件修改2个

• /etc/krb5.conf文件中default_realm对应的值随便起一个即可，realms部分选择服务主机，这里我选择安装主机对应hostname

sudo vi /etc/krb5.conf  
# Configuration snippets may be placed in this directory as well  
includedir /etc/krb5.conf.d/  
[logging]  
default = FILE:/var/log/krb5libs.log  
kdc = FILE:/var/log/krb5kdc.log  
admin_server = FILE:/var/log/kadmind.log  
[libdefaults]  
dns_lookup_realm = false  
ticket_lifetime = 24h  
renew_lifetime = 7d  
forwardable = true  
rdns = false  
pkinit_anchors = FILE:/etc/pki/tls/certs/ca-bundle.crt  
default_realm =   BIGDATA.COM  
dns_lookup_kdc = false  
#default_ccache_name = KEYRING:persistent:%{uid}  
[realms]  
BIGDATA.COM   = {  
kdc = lz1.cmp14722.app  
admin_server = lz1.cmp14722.app  
}  
[domain_realm]  
.cmp14722.app =   BIGDATA.COM  
cmp14722.app =   BIGDATA.COM 
• /var/kerberos/krb5kdc/kdc.conf文件我这里保持不变
sudo vi /var/kerberos/krb5kdc/kdc.conf  
[kdcdefaults]  
kdc_ports = 88  
kdc_tcp_ports = 88  
[realms]  
EXAMPLE.COM   = {  
#master_key_type = aes256-cts  
acl_file = /var/kerberos/krb5kdc/kadm5.acl  
dict_file = /usr/share/dict/words  
admin_keytab = /var/kerberos/krb5kdc/kadm5.keytab  
supported_enctypes = aes256-cts:normal aes128-cts:normal des3-hmac-sha1:normal arcfour-hmac:normal camellia256-cts:normal camellia128-cts:normal des-hmac-sha1:normal des-cbc-md5:normal des-cbc-crc:normal  
}

• 将krb5.conf分发到其他主机客户端

for item in `cat /etc/hosts | grep lz | grep -v 1 |awk '{print $2}'`; do scp /etc/krb5.conf $item:/etc/ ; done

1. 启动kerberos

• 创建kerberos数据库

sudo kdb5_util create -r BIGDATA.COM -s
#输入密码
#完成

• 启动kerberos

service krb5kdc start  
service kadmin start  
#查看服务状态  
service krb5kdc status  
service kadmin status

1. 用户认证流程

• 创建kerberos认证用户

#进入kerberos服务  
kadmin.local  
#查看已有认证用户  
 listprincs  
#新增root用户认证  
 addprinc root/[e-mail]  
#输入密码  
#确认密码  
#完成  
#创建root用户的keytab文件认证  
 ktadd -k /opt/keytab/root.keytab -norandkey root/[e-mail]  
#创建集群认证用户cloudera-scm，用于后面cdh开启kerberos使用  
 addprinc cloudera-scm/[e-mail]  
#查看认证用户  
 listprincs  
#退出  
 quit

• root用户认证

#keytab认证  
 kinit -kt /opt/keytab/root.keytab root/[e-mail]  
#查看当前生效token  
 klist  
Ticket cache: FILE:/tmp/krb5cc_0  
Default principal: root/  [e-mail]  
Valid starting Expires Service principal  
01/30/2023 11:13:08 01/31/2023 11:13:08   krbtgt/[e-mail]

分发root的keytab到其他主机，实现root用户主机间的网络认证

for item in `cat /etc/hosts | grep lz | grep -v 1 |awk '{print $2}'`; do ssh $item "mkdir /opt/keytab"; scp /opt/keytab/root.keytab $item:/opt/keytab/ ; done

cdh启用kerberos

1. 进入CM界面，打开管理-》安全

1. 点击启用kerberos

1. 全部勾选是

1. 填写配置信息，server与上面krb5.conf中配置内容一致

下一步，这里可以不勾选

1. 填写上面创建的账号与密码 cloudera-scm/[e-mail]

1. 后面直接点继续，完成后，进行初始化，直至最终完成开启

1. 重启集群，查看集群服务状态

1. 主机上验证集群服务

通过root用户执行hive、hbase、hdfs命令

#hive命令  
 hive  
 >>show databases;  
 >>create database bigdata;  
#hbase命令  
 hbase shell  
 >>list  
#hdfs命令  
 hdfs dfs -ls /

如遇到某些命令没有权限或者无法通过TOKEN认证等问题，可以在kerberos服务主机上，创建对应的服务用户，进行keytab认证（参见上面用户认证流程），通过对应的服务认证，完成操作命令。认证不需要切换用户，如在root用户下可执行命令kinit -kt /opt/keytab/hbase.keytab hbase/[e-mail]，进行hbase的用户认证。

hbase服务也可进行用户权限授权，需要通过hbase用户的kerberos认证，作为管理员进行操作

#进入hbase
hbase shell
#查看现有用户权限
>>user_permission
#对root用户赋权，R写、W读、X执行、C创建、A管理员
>>grant 'root', 'RWXCA'

禁用kerberos：如何禁用CDH集群Kerberos-腾讯云开发者社区-腾讯云

dolphinscheduler启用kerberos

1. 配置文件

在进行dolphinscheduler安装时，主要在install_config.conf的配置，参见官网的配置流程即可，如果已经安装完成，可以修改common.properties的配置文件，这里主要说kerberos的配置部分，其他部分这里不赘述

在dolphinscheduler所在master主机上进行配置文件修改即可

vi /opt/dolphinscheduler/conf/common.properties 
 
# resource.storage.type=HDFS  
resource.storage.type=HDFS  
# whether kerberos starts  
hadoop.security.authentication.startup.state=  true  
# java.security.krb5.conf.path=/opt/dolphinscheduler/conf/krb5.conf  
java.security.krb5.conf.path=/etc/krb5.conf  
# login user from keytab username  
login.user.keytab.username=  hdfs/[e-mail]  
# loginUserFromKeytab path  
login.user.keytab.path=  /opt/keytab/hdfs.keytab

这里主要涉及keytab认证选择的用户，用户需要对集群有操作权限，这里选择hdfs用户，确保已创建kdfs用户对应keytab；资源存储选择的HDFS方式（这里其他配置参考官网）

1. 重启dolphinscheduler系统

sh stop-all.sh
sh start-all.sh

1. admin登录dolphinscheduler验证

可正常创建租户等其他操作

1. 用租户bidata执行大数据任务

由于需要用linux的bidata用户执行任务，因此需要创建bidata用户的kerberos认证，方法同上，因为kerberos认证有有效期，保证任务和定时任务不失败，需要通过crontab创建定时认证

#创建定时任务 
 
 crontab -e  
58 23 * * * kinit -kt /opt/keytab/bidata.keytab bidata/[e-mail]

定时任务在所有worker主机上均需要设置，因为dolphinscheduler的任务执行默认是随机分配的

遇到的问题

集群重启后hbase服务异常

hbase服务无法完成init过程，我通过删除zk中的hbase，完成了启动

#进入zk，/bin/zookeeper-client或zk目录下执行sh zkCli.sh 
 
 zookeeper-client  
 [zk: localhost:2181(CONNECTED) 3] ls /  
 [dolphinscheduler, hive_zookeeper_namespace_hive, zookeeper, hbase]  
 [zk: localhost:2181(CONNECTED) 3] deleteall /hbase  
 #或逐个删除/hbase下的内容

重启后成功

用户无法访问集群服务

Caused by: java.io.IOException: org.apache.hadoop.security.AccessControlException: Client cannot authenticate via:[TOKEN, KERBEROS]

上面的错误是kerberos认证问题，当前用户没有进行kerberos认证或者本身对服务没有权限，需要具体服务具体授权，针对具体服务切换kerberos认证用户