【Spark数据倾斜】

B站视频:https://www.bilibili.com/video/BV1834y1d772


  • 现象
    一个Spark任务中,大多数task任务运行速度很快,就有那么即可task任务运行缓慢,慢慢的可能接着报出内存溢出的问题了,这个时候就可以认定为数据倾斜了;
  • 原理
    spark中数据倾斜不是说原始数据存在倾斜,原始数据都是一个一个的block,大小都是一样的,不存在数据倾斜;
    数据倾斜指的是在shuffle过程,由于不同的key对应的数据量不同,导致task处理的数据量不同
  • 常见产生数据倾斜场景

    分组聚合逻辑中,需要把相同key的数据发送到下游同一个task,如果某个或者几个key的数量特别大,导致下游某个或者某几个task所要处理的数据量特别大,也就是要处理的任务负载特别大。

    join计算中,A表和B表相同key的数据发送到下游同一个task,如果A表或者B表中,某个key或者某几个key数据量很大
  • 危害
    1.程序执行缓慢:部分任务耗时远高于其他任务,从而使得整体任务耗时过大,未能充分发挥分布式系统的并行计算优势
    2.报错OOM:部分任务处理的数据量过大,造成内存不足使得当前任务失败,引发重试,多次重试仍然不正常,导致整个应用失败。
    3.集群崩溃:应用不能按时完成,资源无法释放,后续任务不断请求资源,系统调用暴增,导致集群雪崩。

如何定位数据倾斜的代码

一个spark job由多个stage组成,stage之间具有前后关系,所以是串行执行的,一个stage由多个task组成,每个task之间可以并行运行,一个stage的运行时间由耗时最长的task决定。stage划分就是根据会产生shuffle的算子,也就是宽依赖划分的。

  • 定位步骤:
    1.经验:查看代码中的shuffle算子,根据代码逻辑猜测是否会产生数据倾斜
    2.spark log文件:记录错误发生在代码的哪一行,再根据自己的理解定位哪个shuffle算子
    3.spark web UI:数据倾斜产生时,可以用UI界面很明显的看到三个现象
    1)某个stage运行时间过长
    2)shuffle read和shuffle write数据量相差巨大
    3)某个task运行时间过长,读写数据量相差很大

1.查看stage:

如何在spark UI中定位数据倾斜问题 spark 动态数据倾斜_数据倾斜


stageid = 12 的耗时以及read write差距很大2.查看stageid = 12 的详情:

如何在spark UI中定位数据倾斜问题 spark 动态数据倾斜_spark_02


点开这个发生了数据倾斜的stage,查看task运行情况可以看到第三个问题:task运行时间过长,并且读写数据量差距大,可以看到红框中的task们所需要的时间都是10h+,其他的时分钟级,从而拖慢了整个任务的执行时间。

总结:先锁定stage在锁定task

数据倾斜解决方案

1.调整shuffle并行度

如何在spark UI中定位数据倾斜问题 spark 动态数据倾斜_大数据_03


2.自定义分区Partitioner

如何在spark UI中定位数据倾斜问题 spark 动态数据倾斜_big data_04


3.两阶段聚合

如何在spark UI中定位数据倾斜问题 spark 动态数据倾斜_big data_05


如何在spark UI中定位数据倾斜问题 spark 动态数据倾斜_big data_06

object WordCountAggTest{
	def main(args:Array[String]):Unit={
		val conf = new SparkConf().setMaster("local").setAppName("wordcount")
		val sc = new SparkContext(conf)
		val array = Array("what what","what what"
		,"what what","what what","what what","what what"
		,"what what","what what","word word")

		val rdd = sc.parallelizer(array,8)

		rdd.flatMap(x=>x.split(" "))
		   .map(word=>{
				val prefix = (new util.Random).nextInt(3)
				(prefix+"_"+word,1)
			   })
		   .reduceBykey(_+_)	
		   .map(wc=>{
				val newWord = wc._1.split("_")(1)
				val count = wc._2
				(newWord,count)
			})					 
 		   .reduceBykey(_+_)	
 		   .foreach(wc=>{
				println("word:"+ wc._1 + "time" + wc._2);
			})


	}

}

如何在spark UI中定位数据倾斜问题 spark 动态数据倾斜_big data_07


4.map join

如何在spark UI中定位数据倾斜问题 spark 动态数据倾斜_大数据_08


如何在spark UI中定位数据倾斜问题 spark 动态数据倾斜_spark_09


如何在spark UI中定位数据倾斜问题 spark 动态数据倾斜_big data_10


5.采样key

如何在spark UI中定位数据倾斜问题 spark 动态数据倾斜_spark_11


如何在spark UI中定位数据倾斜问题 spark 动态数据倾斜_big data_12


如何在spark UI中定位数据倾斜问题 spark 动态数据倾斜_big data_13


如何在spark UI中定位数据倾斜问题 spark 动态数据倾斜_大数据_14


6.大表散列,小表扩容

如何在spark UI中定位数据倾斜问题 spark 动态数据倾斜_big data_15


如何在spark UI中定位数据倾斜问题 spark 动态数据倾斜_运行时间_16


如何在spark UI中定位数据倾斜问题 spark 动态数据倾斜_数据倾斜_17


如何在spark UI中定位数据倾斜问题 spark 动态数据倾斜_大数据_18


如何在spark UI中定位数据倾斜问题 spark 动态数据倾斜_数据倾斜_19