最近调研了 spark-sql on yarn 时 UserGroupInformation 初始化最早时机,将 spark-sql on yarn 的整个提交流程阅读了一遍,确定了 SparkSubmit 类范围,对 SparkSubmit 进行了阅读和跟进,找出了关键的代码,如下图所示,lazy val secMgr = new SecurityManager(sparkConf),在 Sec
在阅读 SparkSubmit 源代码时,重点关注 Configuration 的资源文件的加载情况,默认通过 new Configuration() 构造方法创建时,只会加载 core-default.xml 和core-site.xml文件,但是 SparkSubmit 中打印 Con
Copyright © 2005-2024 51CTO.COM 版权所有 京ICP证060544号