一.本文记录内容：使用Mac，对spark源码进行编译

二.前期准备：Java8、Scala2.12.11、Maven3.6.3安装配置完成；Spark3.0.0源码已下载

三.编译步骤：

1.修改源码中的./dev/make-distribution.sh 文件：

1）修改MVN="$MAVEN_HOME/bin/mvn"

2.修改spark源码的pom.xml文件，将Maven仓库改成阿里云仓库

spark 源代码编译 spark修改源码_spark源码


central

Maven Repository

https://maven.aliyun.com/nexus/content/groups/public/

true



false



3.开始编译源码

1）cd spark-3.0.0

2)$ set MAVEN_OPTS=-Xmx2g -XX:MaxPermSize=512M -XX:ReservedCodeCacheSize=512m

$ mvn -DskipTests clean package

四.将编译好的代码导入IDEA