# Spark 任务提交过程详解
Apache Spark 是一个开源的分布式计算框架，被广泛用于大规模数据处理和分析。理解 Spark 任务的提交过程是每一个 Spark 开发者的必备技能。本文将详细介绍 Spark 任务提交的各个阶段，同时提供相关的代码示例，以及使用 Mermaid 语法绘制的类图和状态图。
## Spark 任务提交的流程
Spark 的任务提交过程主要包括以下几个关
原创
2024-09-11 07:35:28
133阅读
了解Spark任务的提交到运行的流程，其中包含两个阶段： 第一阶段在Yarn集群之外执行，主要是作业的提交，将作业提交到Yarn集群为止。  
转载
2023-09-01 18:41:27
364阅读
在学习Spark过程中，资料中介绍的提交Spark Job的方式主要有两种（我所知道的）：第一种: 通过命令行的方式提交Job,使用spark 自带的spark-submit工具提交，官网和大多数参考资料都是已这种方式提交的，提交命令示例如下：./spark-submit --class com.learn.spark.SimpleApp --master y
转载
2023-08-10 11:02:19
77阅读
一，简介二，角色介绍三，启动流程图 正文一，简介 Standalone模式下，集群启动时包括Master与Worker，其中Master负责接收客户端提交的作业，管理Worker。提供了Web展示集群与作业信息。二，角色介绍 Client（SparkSubmit）：客户端进程，负责提交作业到Master。 Master：Standalone模式中主控节点，
转载
2024-03-08 14:26:50
42阅读
spark-submit执行流程梳理1.概述2.启动sparkSubmit进程3.启动ApplicationMaster进程4.启动CoarseGrainedExecutorBackend进程5.driver线程后续执行流程6.参考资料 1.概述 本阶段都是基于spark-on-yarn-cluster模式进行梳理分析； 在前面的分析过程中，顺着spark-submit提交后，代码的执行顺序从前
转载
2023-08-13 21:19:55
161阅读
一、Standalone模式两种提交任务方式
1.1、Standalone-client提交任务方式
（1）提交命令./spark-submit
--master spark://node1:7077
--class org.apache.spark.examples.SparkPi
../lib/spark-examples-1.6.0-hadoop2.6.0.jar
1000或者./s
转载
2023-08-10 21:06:54
629阅读
Job提交流程图解Standalone集群模式提交任务流程初始化SparkContext的时候会创建一个Driver进程，并且向Master上面进行注册Driver注册完以后，Master开始给Executor在Work上面分配资源(每一个Work上面可以创建多个Executor进程)Executor分配好以后，就会向Driver注册汇报自己的情况，然后就开始在hdfs上的文件被读取到多个Work
转载
2023-08-11 11:48:38
0阅读
一、Spark on Standalone1.spark集群启动后，Worker向Master注册信息2.spark-submit命令提交程序后，driver和application也会向Master注册信息3.创建SparkContext对象：主要的对象包含DAGScheduler和TaskScheduler4.Driver把Application信息注册给Master后，Maste
转载
2023-08-09 13:25:28
70阅读
在hue中，oozie任务分为4层：1.action（可以是hive任务，spark任务，shell脚本等），下图所示就是一个shell任务： 2.workflow，顾名思义，一个workflow就是多个action组成的DAG流： 3.schedule是对workflow的重复调用，你可以一小时执行一次，也可以一天执行一次。下图的例子就是每天4:25执行一次 4,.
转载
2023-07-14 12:56:59
204阅读
spark可以运行在standalone，yarn，mesos等多种模式下，当前我们用的最普遍的是yarn模式，在yarn模式下又分为client和cluster。本文接下来将分析yarn cluster下任务提交的过程。也就是回答，在yarn cluster模式下，任务是怎么提交的问题。在yarn cluster模式下，spark任务提交涉及四个角色（client， application， d
Spark作业提交流程spark-submit 提交代码，Driver 执行 new SparkContext()，在 SparkContext 里构造 DAGScheduler 和 TaskScheduler。TaskScheduler 会通过后台的一个进程，连接 Master，向 Master 注册 Application。Master 接收到
转载
2023-09-02 13:19:47
111阅读
概括：Local：多用于本地测试，如在eclipse，idea中写程序测试等。Standalone：Standalone是Spark自带的一个资源调度框架，它支持完全分布式。Yarn：Hadoop生态圈里面的一个资源调度框架，Spark也是可以基于Yarn来计算的。Mesos：资源调度框架。（少用，不做介绍）Options:--master： MASTER_URL, 可以是sp
转载
2024-06-12 23:35:23
53阅读
我们经常通过spark-submit来提交spark应用程序，那么让我们一起看一下这里面到底发生了什么吧。知识点：1.CLI命令行界面启动Spark应用程序Unix有两种方式：1）spark-submit 2）spark-class。前者是我们常见的方式，后者是spark集群内部使用的方式。spark-submit实际上是调用spark-class来提交应用程序的，所以本质上是一种方式。
转载
2024-01-05 20:45:46
88阅读
Spark-submit提交流程代码层面提交Spark-submit提交资源分配 代码层面提交1.用户传递参数执行spark-submit.sh脚本，查询SPARK_Home是否设置。如果没有设置先执行find-spark-home文件设置，已经设置传递参数 和org.apache.spark.deploy.SparkSubmit类执行spark-class.sh脚本 2.spark-class
转载
2023-07-10 13:32:57
134阅读
MapReduce作业的提交与初始化过程，即从用户输入提交作业命令到作业初始化的整个过程。该过程涉及JobClient、JobTracker和TaskScheduler三个组件，它们功能分别是准备运行环境、接收作业以及初始化作业。作业提交与初始化概述作业提交过程主要为后续作业执行准备环境，主要涉及创建目录、上传文件等操作；而一旦用户提交作业后，JobTracker端便会对作业进行初始化。作业初始化
转载
2023-07-24 10:53:46
396阅读
首先使用脚本spark-submit将作业提交，这个过程实际上就是使用shell脚本调用java命令运行的SparkSubmit类的main方法，所以我们接下来需要看一下SparkSubmit的main方法做了什么？/**
* 提交作业
* @param args
*/
def main(args: Array[String]): Unit = {
val a
转载
2023-09-17 00:02:08
194阅读
spark submit启动到Application执行过程大致分为两个阶段，一个是注册阶段：Driver、Application、worker的注册；另一个是任务的调度、分配、执行阶段：DagScheduler对stage的划分、TaskScheduler对TaskSets的分配以及Executor对Task的执行。在我们日常开发中，我们常常会在IDEA中编写好Spark应用程序，然后打包到集群
转载
2023-06-06 09:41:08
87阅读
1、spark submit后都需要action算子来触发作业，观察源码，发现所有的action算子都会调用SparkContext的runJob的方法，以collect为例：collect调用了SparkContext的runJob方法：/**
* 返回包含此RDD中所有元素的数组.
获取Rdd的所有数据，然后缓存在Driver端
*/
def collect(): Array[T] = wit
转载
2024-01-24 15:28:11
59阅读
之前看了YARN权威指南后总结了YARN作业提交流程（），但还是不够清晰详细，所以转载这篇文章以便日后学习用。MR作业提交过程提交过程按这个图来，1.Job的submit()方法创建一个内 部的JobSummiter 实例，调用该实例submitJobInternal()方法。提交作业后，waitForCompletion()每秒轮询作业的进度，如果发现自上次报告后有改变，便把进度报告到控制台。作
转载
2023-07-21 14:39:43
35阅读
任务提交后执行前的逻辑：client端：1、spark-submit脚本提交任务，会通过反射的方式调用到我们自己提交的类的main方法2、执行我们自己代码中的new SparkContext 2.1、创建actorSystem 2.2、创建TaskSchedulerImpl 任务分发的类 2.3、创建SparkDeplo
转载
2023-12-02 12:54:04
76阅读
