数据倾斜：
目录
数据倾斜
项目调优
数据倾斜：
1，提前在map进行combine，减少传输的数据量
在Mapper加上combiner相当于提前进行reduce，即把一个Mapper中的相同key进行了聚合，减少shuffle过程中传输的数据量，以及Reducer端的计算量。
如果导致数据倾斜的key大量分布在不同的mapper的时候，这种方法就不是很有效了。
2，导致数据倾斜的key 大量分布在不同的mapper
（1）局部聚合加全局聚合。
第一次在map阶段对那些导致了数据倾斜的key 加上1到n的随机前缀，这样本来相同的key 也会被分到多个Reducer中进行局部聚合，数量就会大大降低。
第二次mapreduce，去掉key的随机前缀，进行全局聚合。
思想：二次mr，第一次将key随机散列到不同reducer进行处理达到负载均衡目的。第二次再根据去掉key的随机前缀，按原key进行reduce处理。
这个方法进行两次mapreduce，性能稍差。
（2）增加Reducer，提升并行度
JobConf.setNumReduceTasks(int)
（3）实现自定义分区
根据数据分布情况，自定义散列函数，将key均匀分配到不同Reducer
项目调优：
mr任务慢的原因，map数量reduce数量设置不合理，reduce等待过久，小文件过多，spill次数过多，merge次数过多
1）数据倾斜：
可能是partition不合理，导致partition中的部分数据过多，部分数据过少，可通过数据分析，自定义分区进行处理
2）合理设置map，reduce数量：
两个都不能设置太多，也不能设置太少，太少，会导致task等待，延长处理时间。太多，会导致map，reduce任务间竞争，造成超时等错误
3）设置map，reduce共存
当任务过大时，可以开启map与reduce共存，当map运行到一定时间后，reduce也开始运行。减少等待时间。
4）合并小文件
在执行mr任务前将小文件合并，大量小文件会产生大量的map任务，增大map的装载次数，而任务的装载比较耗时，所以会拖慢运行速度。
5）减少spill次数
环形缓冲区，可以增加环形缓冲区大小和增加环形缓冲区数据溢写比例，增大触发spill内存上限，减少spill次数，从而减少磁盘IO。
6）减少merge次数
mapreduce两端合并文件数目，增大merge文件数目，从而缩短mr处理时间。
