在Windows环境IDEA上解读Spark源码的时候，为了查看参数传递，总是连接服务器很麻烦。简单实现从本地启动Spark的Master和Worker，方便源码解读。

1. 添加Maven依赖

在spark-parent的pom.xml中添加guava依赖

<!-- https://mvnrepository.com/artifact/com.google.guava/guava -->
<dependency>
    <groupId>com.google.guava</groupId>
    <artifactId>guava</artifactId>
    <version>27.0.1-jre</version>
</dependency>

IDEA本地启动Spark的Master和Worker_本地启动master和worker

 

2. 启动Master

IDEA本地启动Spark的Master和Worker_简单实现_02

 

3. 设置Application

新建一个Application，Main class搜索Worker，参数填入上面获取的spark://host:port

IDEA本地启动Spark的Master和Worker_spark_03

 

4. 启动Worker

IDEA本地启动Spark的Master和Worker_maven_04

 

 通过WebUI查看

Worker没有连接前

IDEA本地启动Spark的Master和Worker_spark_05

Worker连接后

IDEA本地启动Spark的Master和Worker_spark_06