0552-5.15.0-同一OS用户下不同Kerberos用户执行脚本Principal串掉问题分析

原创

Hadoop实操 2022-09-11 00:34:01 ©著作权

文章标签 .net hive python 文章分类 运维

©著作权归作者所有：来自51CTO博客作者Hadoop实操的原创作品，请联系作者获取转载授权，否则将追究法律责任

温馨提示：如果使用电脑查看图片不清晰，可以使用手机打开文章单击文中的图片放大查看高清原图。

Fayson的github：
https://github.com/fayson/cdhproject

提示：代码块部分可以左右滑动查看噢

文档编写目的

在集群启用Kerberos后，使用同一个OS用户在客户端并发调度Python代码获取Hive数据（代码中使用不同的kerberos用户kinit），会出现两个作业的认证混乱获取到的票据串掉。本文Fayson主要分析Kerberos环境同一OS用户下并发执行不同身份认证的Python代码会导致Principal串掉问题解决。

测试环境

1.CDH5.15.0

2.Redhat7.3

3.集群已启用Kerberos

问题描述

Fayson通过一段简单的示例代码说明问题，在代码中执行kinit命令初始化Kerberos信息，通过impyla包访问Hive，具体代码如下：

from impala.dbapi import connect
import os
os.system('kinit -k -t /data/disk1/pythonkb/hbase.keytab hbase/cdh04.fayson.net')
os.system('klist')

conn = connect(host='cdh02.fayson.net',port=10000,database='default',auth_mechanism='GSSAPI',kerberos_service_name='hive')
print(conn)

cursor = conn.cursor()
cursor.execute('show databases')
print (cursor.description)  # prints the result set's schema
results = cursor.fetchall()
print(results)

在同一个用户的OS下创建test_hbase.py和test_yarn.py的两个Python脚本，分别使用hbase和yarn用户初始化Kerberos信息。

在crontab中添加两个定时任务，使两个任务同时并发

0552-5.15.0-同一OS用户下不同Kerberos用户执行脚本Principal串掉问题分析_hive

在生成的testhbase.log和testyarn.log中可以看到两个脚本会获取到对方的Principal信息

0552-5.15.0-同一OS用户下不同Kerberos用户执行脚本Principal串掉问题分析_python_02

问题分析

1.首先在客户端进行Kinit操作后，默认的Ticket Cache是存储在tmp/krb5cc_0临时文件中（Ticket cache文件是根据当前用户的uid在/tmp目录下生成一个以krb5cc_开头的临时文件）。

2.由于上述的两个脚本是在同一个OS用户下，所以两个不同的Kerberos用户在进行Kinit操作后都会覆盖/tmp/krb5cc_{uid}文件

0552-5.15.0-同一OS用户下不同Kerberos用户执行脚本Principal串掉问题分析_.net_03

根据上述两点基本可以定位问题的原因，因为Ticket cache文件被覆盖导致Kerberos的票据信息串掉。

问题解决

由于两个Python脚本使用了同一份Ticket cache文件导致Kerberos的票据信息串掉，那通过在代码中指定Ticket cache文件，而不使用默认的文件。Fayson对上述代码做了如下改动，在代码中增加了OS环境变量KRB5CCNAME的设置，具体代码如下：

from impala.dbapi import connect
import os
os.environ['KRB5CCNAME']='/tmp/krb5_ccname_hbase'
os.system('kinit -k -t /data/disk1/pythonkb/hbase.keytab hbase/cdh04.fayson.net')
os.system('klist')

conn = connect(host='cdh02.fayson.net',port=10000,database='default',auth_mechanism='GSSAPI',kerberos_service_name='hive')
print(conn)

cursor = conn.cursor()
cursor.execute('show databases')
print (cursor.description)  # prints the result set's schema
results = cursor.fetchall()
print(results)

0552-5.15.0-同一OS用户下不同Kerberos用户执行脚本Principal串掉问题分析_hive_04