故障表现
在使用 jumperver
登录 AWS ec2
实例的时候发现 ssh
配合秘钥登录的时候无法登录,
具体报错如下:
ssh -i /path/xx.pem user@10.0.11.190
Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
问题排查过程
在发现无法登录的第一时间等了AWS
平台查看底层监控是否正常
查看到底层硬件工作正常,并没有观察到异常报错。
通过查看业务服务,发现业务服务并没有收到影响。
那就说明,服务器是没有问题的,只是登录认证出了问题。既然服务没有问题,接下来就慢慢排查就,就不着急了。
接着,尝试用 aws
的 ssm (Amazon Systems Manager)
尝试登录,发现能够使用 ssm
登录。
再次回到跳板机,运行 telnet 10.0.11.190 22
端口是通的。排除网络端口问题。
查看 ssh
登录日志
ssh -i /path/xx.pem user@10.0.11.190 -vvv
查看 secure
日志
tail -f /var/log/secure
问题解决
经过查看日志,总结如下:
1
当前是从跳板机,以ssh的方式连接到故障主机,但是在连接过程中遇到如下所示报错:
Permission denied (publickey,gssapi-keyex,gssapi-with-mic).
从ssh -vvv的debug日志来看,ssh client端发送了认证请求,但是ssh server端并没有完成认证过程,导致permission denied报错产生。
2
故障主机配置了SSM agent,并且可以通过session manager打开。 在这个基础上,在实例的/var/log/secure文件中看到如下报错内容:
authentication refused: bad ownership or modes for directory /home/ec2-user/
这个报错的意思是说,/home/ec2-user/
目录的owner或者mode存在一些问题。
经过查看,/home/ec2-user/
目录配置的是777的权限,进而导致的认证失败。
将其修改为700后,问题得到解决,可以ssh登录到故障主机。
为什么会有777的权限呢?
为何会将 /home/ec2-user/
目录下所有内容修改为 777
呢?
经过登录 Jumoserver
的审计发现,一名开发人员将 /home/ec2-user/
权限改为了 777
原因是通过 Jumpserver
上传文件的时候没有权限,然后开发就自己将目录给了 777
的权限。
文章链接