【Spark数据倾斜】
B站视频:https://www.bilibili.com/video/BV1834y1d772
- 现象
一个Spark任务中,大多数task任务运行速度很快,就有那么即可task任务运行缓慢,慢慢的可能接着报出内存溢出的问题了,这个时候就可以认定为数据倾斜了; - 原理
spark中数据倾斜不是说原始数据存在倾斜,原始数据都是一个一个的block,大小都是一样的,不存在数据倾斜;
数据倾斜指的是在shuffle过程,由于不同的key对应的数据量不同,导致task处理的数据量不同 - 常见产生数据倾斜场景
分组聚合逻辑中,需要把相同key的数据发送到下游同一个task,如果某个或者几个key的数量特别大,导致下游某个或者某几个task所要处理的数据量特别大,也就是要处理的任务负载特别大。
join计算中,A表和B表相同key的数据发送到下游同一个task,如果A表或者B表中,某个key或者某几个key数据量很大 - 危害
1.程序执行缓慢:部分任务耗时远高于其他任务,从而使得整体任务耗时过大,未能充分发挥分布式系统的并行计算优势
2.报错OOM:部分任务处理的数据量过大,造成内存不足使得当前任务失败,引发重试,多次重试仍然不正常,导致整个应用失败。
3.集群崩溃:应用不能按时完成,资源无法释放,后续任务不断请求资源,系统调用暴增,导致集群雪崩。
如何定位数据倾斜的代码
一个spark job由多个stage组成,stage之间具有前后关系,所以是串行执行的,一个stage由多个task组成,每个task之间可以并行运行,一个stage的运行时间由耗时最长的task决定。stage划分就是根据会产生shuffle的算子,也就是宽依赖划分的。
- 定位步骤:
1.经验:查看代码中的shuffle算子,根据代码逻辑猜测是否会产生数据倾斜
2.spark log文件:记录错误发生在代码的哪一行,再根据自己的理解定位哪个shuffle算子
3.spark web UI:数据倾斜产生时,可以用UI界面很明显的看到三个现象
1)某个stage运行时间过长
2)shuffle read和shuffle write数据量相差巨大
3)某个task运行时间过长,读写数据量相差很大
1.查看stage:
stageid = 12 的耗时以及read write差距很大2.查看stageid = 12 的详情:
点开这个发生了数据倾斜的stage,查看task运行情况可以看到第三个问题:task运行时间过长,并且读写数据量差距大,可以看到红框中的task们所需要的时间都是10h+,其他的时分钟级,从而拖慢了整个任务的执行时间。
总结:先锁定stage在锁定task
数据倾斜解决方案
1.调整shuffle并行度
2.自定义分区Partitioner
3.两阶段聚合
object WordCountAggTest{
def main(args:Array[String]):Unit={
val conf = new SparkConf().setMaster("local").setAppName("wordcount")
val sc = new SparkContext(conf)
val array = Array("what what","what what"
,"what what","what what","what what","what what"
,"what what","what what","word word")
val rdd = sc.parallelizer(array,8)
rdd.flatMap(x=>x.split(" "))
.map(word=>{
val prefix = (new util.Random).nextInt(3)
(prefix+"_"+word,1)
})
.reduceBykey(_+_)
.map(wc=>{
val newWord = wc._1.split("_")(1)
val count = wc._2
(newWord,count)
})
.reduceBykey(_+_)
.foreach(wc=>{
println("word:"+ wc._1 + "time" + wc._2);
})
}
}
4.map join
5.采样key
6.大表散列,小表扩容