dolphin scheduler获取spark任务结果

Spark基础（三）Spark中的任务执行

• Spark的任务调度

• Driver的工作

• 容错机制
• Spark的架构特点

Spark的任务调度

Driver的工作

1、JAR==》DAG
根据客户端提交的jar包划分出来一个个的RDD，根据RDD之间的lineage关系划分DAG。划分DAG的目的是为了划分stage。

2、DAG通过DAGScheller划分为stage===》再划分为taskSet
根据划分出来的DAG，将DAG送个DAGScheduler，接收到DAG之后划分stage，根据stage划分taskSet。

3、将taskSet通过TaskScheduler划分为task

4、task放到executor执行
task分解出来之后，driver与worker进行通讯，将task放到executor中执行。

容错机制

一个application中包含多个job，调用一次action算子，就是一个job。如果rdd的数据要进行修复，可以将rdd数据进行缓存，使用cache或者persist保存到内存或者磁盘中。

但是内存或者磁盘会损坏或者丢失。这时需要将一些比较珍贵的RDD（例如shuffle之后的RDD）通过checkpoint机制进行容错。将数据进行输出到文件中进行存储。可以使用hdfs。

在checkpoint执行之后，已经不再依赖之前的RDD因此与之前RDD的血缘关系已经不存在。

Spark的架构特点

• 每个Application获取专属的executor进程**（每个executor运行在work节点上。每个executor又对应了不同的task中）**，该进程在Application期间一直驻留，并以多线程方式运行tasks。
• Spark任务与资源管理器无关，只要能够获取executor进程，并能保持相互通信就可以了。
• 提交SparkContext的Client应该靠近Worker节点（运行Executor的节点)，最好是在同一个Rack里，因为Spark程序运行过程中SparkContext和Executor之间有大量的信息交换；如果想在远程集群中运行，最好使用RPC将SparkContext提交给集群，不要远离Worker运行SparkContext。
• Task采用了数据本地性和推测执行的优化机制。

Job、Stage、Task的对应关系如下：

在基于RDD计算时，Task的数量 = RDD的分区数。

一个Spark应用同时执行的任务数 = 用于执行任务的Executor数 * 每个Executor的核数。