一、基于Standalone提交任务

1.基于Standalone-client提交任务

--deploy-mode：不写，默认就是client提交

也可以配置：--deploy-mode client

./spark-submit --master spark://node1:7077 \
--class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.3.1.jar 100

Spark基于Standalone-client模式提交任务，首先Driver是在客户端启动，每当在客户端提交一个Spark Application，就会启动一个Driver。每个Application都会有自己独立的Driver，Driver与集群中的Worker有大量的通信，如果在客户端提交大量的Application，会造成客户端网卡流量激增问题。在客户端可以看到task执行日志和结果。这种模式适用于程序测试，不适用生产环境。

2.基于Standalone-cluster提交任务

注意：在cluster模式下，jar包需要放到集群每台节点可以访问的目录（如HDFS），如果是放在本地，需要在每个节点上都放置一份

./spark-submit --master spark://node1:7077 --deploy-mode cluster \
--class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.3.1.jar 100

Spark基于Standalone-cluster模式提交任务，首先客户端会向Master申请启动Driver，Driver是随机在一台满足资源的Worker节点上启动，如果在客户端提交多个Spark Application，每个Application的Driver是分散在集群中启动的，解决了单节点网卡流量激增问题。这种模式适用于生产环境，在客户端看不到task执行日志和结果，需要去Spark的WebUI中查看。

二、基于Yarn提交任务

1.Yarn-client提交任务方式

./spark-submit --master yarn \
--class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.3.1.jar 100

Spark基于Yarn-client模式提交任务，Driver首先在客户端启动，当客户端提交多个Spark Application时，每个Application都有独立的Driver，Driver与与集群有大量的通信，会有单节点网卡流量激增的问题。这种模式适用于程序测试，不适用与生产环境，在客户端可以看到task的执行和结果。

2.Yarn-cluster提交任务方式

./spark-submit --master yarn --deploy-mode cluster \
--class org.apache.spark.examples.SparkPi ../examples/jars/spark-examples_2.11-2.3.1.jar 100

Spark基于Yarn-cluster模式提交任务，Yarn的ApplicationMaster启动之后就是相当于Driver，负责task发送，当在客户端提交多个Spark Application时，每个Application都会有独立的AM，AM是分散在集群中启动，相当于将client模式中的单节点网卡流量激增问题分散到集群中。这种模式适用于生产环境，在客户端看不到task的执行日志和结果，要去Yarn的WebUI看。