一、第一部分1、spark2.1与hadoop2.7.3集成，spark on yarn模式下，需要对hadoop的配置文件yarn-site.xml增加内容，如下：<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
Spark配置任何优秀的软件或服务都会提供一些配置参数，这些配置参数有些是内置的，有些则是可以由用户配置的。Spark作为一款优秀的计算框架，也配置了各种各样的系统配置参数。SparkConf是Spark的配置类，这个类在Spark的历史版本中已经存在很久了，Spark中的每一个组件都直接或者间接地使用着它所存储的属性，这些属性都存储在如下的数据结构中：private val settings =
