SparkConf 用户 spark configuration

目录

概述

从系统中获取并设置配置信息

使用SparkConf提供的方法设置配置信息

通过克隆的方式设置配置信息

 总结

---

概述

SparkConf，以KEY-VALUE对的形式设置Spark的配置参数。我们编写Spark应用程序时，也会先创建SparkConf，并配置一些参数，再传递给SparkContext。下面试对SparkConf的源码进行的分析。

SparkConf位于Spark Core中的org.apache.spark包下。分别继承了Cloneable、Logging和Serializable。

SparkConf分别实现了一个有参和无参的构造方法，这个参数loadDefaults是布尔类型的，控制SparkConf是否从系统中获取以“spark”开头的配置参数。无参构造方法，默认loadDefaults=true

SparkConf所有的配置信息都是以KEY-VALUE对的形式存储在settings中，key、value都是String类型的。

SparkConf又是如何向settings中put数据的呢？下面就是put数据的核心代码，并不难理解。

Spark的配置通过三种方式获取：

1. 系统参数中以“spark.”开头的属性
2. 使用SparkConf提供的方法设置
3. 克隆其他的SparkConf

从系统中获取并设置配置信息

默认loadDefaults=true，所以会执行loadFromSystemProperties方法，利用if守卫，筛选出key以“spark.”开头的信息，并增加到settings中。

使用SparkConf提供的方法设置配置信息

基于set方法，SparkConf进行了一系列扩展，提供了N多个方法，用于用户自己配置SparkConf参数。

设置“spark.master”

设置“spark.app.name”

设置“spark.jars”，告诉Spark还要加载哪些jar包

设置“spark.executorEnv.”

设置“spark.home”

批量设置和自定义设置

还有一些方法，不仅有设置参数的（set）还有可以获取参数的（get），这里就不一一列举出来了，太多了。

通过克隆的方式设置配置信息

SparkConf继承了Cloneable，并重写了clone方法，所以可以使用克隆的方式设置配置信息。

 总结

SparkConf以key-value的形式管理Spark的配置信息，这些配置信息主要是从系统中加载进来的（系统信息中筛选以“spark.”开通的配置信息），使用人员自定义的（通过SparkConf提供的方法），或者是通过克隆其他SparkConf对象得到的。

Spark是不支持在运行期间修改SparkConf配置信息的。