文章目录
spark的资源调度和任务调度
流程
启动集群后,Worker节点会向Master节点汇报资源情况,Master掌握了资源情况,当Spark提交一个Application后,根据RDD之间的依赖关系将Application形成一个DAG有向无环图,任务提交后,Spark会在Driver端创建两个对象,DAGScheduler和TaskSchedule,DAGScheduler是任务调度的高层调度器,是一个对象,DAGSheduler主要作用是将DAG根据RDD之间的宽窄依赖关系划分为一个个的Stage,然后将Stage以TaskSet的形式提交给TaskSchedule
TaskSchedule是任务调度的低层调度器,这里TaskSet其实就是一个集合,里面封装的就是一个个task任务,也就是stage中的并行度task任务
TaskSchedule 会遍历TaskSet 集合，拿到每个 task 后会将 task 发送到计算节点 Executor 中去执行（其实就是发送到 Executor 中的线程池 ThreadPool 去执行）。task 在Executor 线程池中的运行情况会向 TaskScheduler 反馈，当 task 执行失败时，则由 TaskScheduler 负责重试，将 task 重新发送给 Executor 去执行，默认重试 3 次。如果重试 3 次依然失败，那么这个 task 所在的 stage 就失败了。stage 失败了则由 DAGScheduler 来负责重试，重新发送 TaskSet 到TaskSchdeuler，Stage 默认重试 4 次。如果重试 4 次以后依然失败，那么这个 job 就失败了。job 失败了，Application 就失败了。
TaskScheduler 不仅能重试失败的 task,还会重试 straggling（落后，缓慢）task（也就是执行速度比其他 task 慢太多的 task）。如果有运行缓慢的 task那么 TaskScheduler 会启动一个新的 task 来与这个运行缓慢的 task 执行相同的处理逻辑。两个 task 哪个先执行完，就以哪个 task 的执行结果为准。
这就是 Spark 的推测执行机制。在 Spark 中推测执行默认是关闭的。推测执行可以通过 spark.speculation 属性来配置
注意:
对于 ETL 类型要入数据库的业务要关闭推测执行机制，这样就不会有重复的数据入库
如果遇到数据倾斜的情况，开启推测执行则有可能导致一直会有task重新启动处理相同的逻辑，任务可能一直处于处理不完的状态。
图解 Spark 资源调度和任务调度的流程
粗粒度资源申请和细粒度资源申请
粗粒度资源申请(Spark）
在 Application 执行之前，将所有的资源申请完毕，当资源申请成功后，才会进行任务的调度，当所有的 task 执行完成后，才会释放这部分资源
优点：在 Application 执行之前，所有的资源都申请完毕，每一个task 直接使用资源就可以了，不需要 task 在执行前自己去申请资源，task 启动就快了，task 执行快了，stage 执行就快了，job 就快了，application 执行就快了。
缺点：直到最后一个 task 执行完成才会释放资源，集群的资源无法充分利用。
细粒度资源申请
Application 执行之前不需要先去申请资源，而是直接执行，让 job中的每一个 task 在执行前自己去申请资源，task 执行完成就释放资源。
优点：集群的资源可以充分利用。
缺点：task 自己去申请资源，task 启动变慢，Application 的运行就响应的变慢了。
