星环TDH 配置yarn调度策略scheduler 不生效

  • 问题1:在yarn配置界面修改scheduler策略不生效
  • 问题2:新增yarn队列后,提交任务提示对应用户没有权限


问题1:在yarn配置界面修改scheduler策略不生效

楼主想增加yarn的capacity scheduler的策略,于是在tdh yarn配置界面中修改配置项,新增了队列dev,配置了对应的队列容量,具体配置可参考 链接: link.

配置yarn的源 yarn 配置修改 生效_hadoop


配置完后,按照集群提示,点击配置服务,重启yarn

配置yarn的源 yarn 配置修改 生效_大数据_02


此时去yarn的scheduler界面查看scheduler信息,发现队列竟然还是只有一个default,新增的dev队列并不存在,并且我配置的default默认队列容量60%也没有生效

配置yarn的源 yarn 配置修改 生效_配置yarn的源_03


于是就开始了慢慢百度之路,先是刷新了yarn队列,使用命令:yarn rmadmin -refreshQueues,还是没用(这一步应该和 “点击配置服务,重启yarn” 是一样的效果),试了很多方法没用后,我就直接把调度策略换成fair scheduler,发现还是没用,感觉yarn的配置项都没有生效…

绝望之际,公司大佬给了我星环tdh的售后联系方式(微信公众号:星环科技服务号),一问才得知,如果 tdh集群开启了安全认证(Guardian),则必须在Guardian界面更改yarn的调度策略,属实有点坑…

解决方法:配置的路径为Guardian 权限→yarn→yarn1→配额,然后修改队列配置后,点击激活就好了

配置yarn的源 yarn 配置修改 生效_queue_04

总结:真的有点坑,如果开启guardian后,无法在tdh server界面配置,也应该给个提示吧…

|

问题2:新增yarn队列后,提交任务提示对应用户没有权限

在上述步骤后新增了dev队列,然后我便满怀期待的使用这个队列提交任务,然后…又出问题了,报错User hbase cannot submit applications to queue root.dev

解决方法:

在问题1最后的界面中,进入yarn1服务的权限界面,点击右上角添加权限

配置yarn的源 yarn 配置修改 生效_大数据_05


选择你要添加权限的队列,给予的权限以及给予权限的用户,设置好后点击确定就ok了

配置yarn的源 yarn 配置修改 生效_yarn_06

总结:关于星环tdh 的一些问题,网上总是很难百度到,在星环官方论坛上也很难查询到大部分问题,其实这些问题我想星环公司的人在说明书上肯定是有标注的,但是大家使用的时候,谁有时间去把这些说明文档看完呢? 所以对于一些问题,还是要整理成知识库放在公司论坛上,效果肯定更好