基本概念
Job简单讲就是提交给spark的任务。
Stage是每一个job处理过程要分为的几个阶段。
Task是每一个job处理过程要分几为几次任务。
Task是任务运行的最小单位。最终是要以task为单位运行在executor中。
job stage task之间的关系?
Job----> 一个或多个stage---> 一个或多个task
stage如何划分?
划分stage的本质是依据是否需要shuffle,需要shuffle的过程和不需要shuffle的过程明显不同,因此需要划分stage.
如下图,2个stage,遇到宽依赖,reduceByKey之前一个stage,之后一个stage(stage划分的依据是遇到宽依赖就划分一个新的stage)
job如何划分?
转换算子与行动算子结果不同. 行动算子会将结果进行输出.
当在程序中遇到一个action算子的时候,就会提交一个job,执行前面的一系列操作。因此平时要注意,如果声明了数据需要cache或者persist,但在action操作前释放掉的话,该数据实际上并没有被缓存。
通常一个任务会有多个job,job之间是按照串行的方式执行的。一个job执行完成后,才会起下一个job。有一段时间曾想让job并行执行,但没有找到解决方法。
sortby 底层调用collect,也算行动算子.会生成一个job
一个stage的task数量是如何确定的?
对于文件而言,task的数量由分区数量决定,而分区数量默认又是由分片的数量决定的(未指定的情况下). 所以hdfs读取的时候有多少分片,就要多少task
一个job的task数量是多少?
一个job可以是多个task,其task数量=stage数量*每个stage task的数量
一个Executor可以运行多少个task?
默认情况下一个task对应cpu的一个核。如果一个executor可用cpu核数为8,那么一个executor中最多同是并发执行8个task;
总结
Job----> 一个或多个stage---> 一个或多个task