hadoop中的Shuffle的职责是什么 shuffle hadoop

转载

蓝月亮 2023-07-12 15:17:31

文章标签 Hadoop 数据文件合并取模 文章分类 Hadoop 大数据

在每个maptask的结束，我们拿到的是<K,V>的队列，在Reduce中，输入的是<K,Iterable V>。在中间有一个被称为Shuffle的工作，将Maptask的数据按Key排序。其主要的工作，大体上讲1.完整地从map task端拉取数据到reduce端。2.在跨节点拉取数据时，尽可能地减少对带宽的不必要消耗。3.减少磁盘IO对task执行的影响。（主要的优化工作在于更多的使用内存而非磁盘IO）

MapTask的Shuffle

从四个方面来讲Map这块的Shuffle，map结果写入磁盘 ; 缓存数据的分区(Partition)分组(Combiner)排序(Sort) ; 文件合并 (Merge);

1.map结果写入磁盘

对于并行的map工作，产生了许多结果输出，首先我们讲各个节点上得到的结果存到一个环形内存缓冲区里（填到80%就往外拿数据了，不然满了，剩下20%继续读map的数据），当缓冲区全满了，那map就阻塞吧，直到写磁盘结束了再继续。写出去的文件叫做溢出文件（Spill），这个溢写是由单独线程来完成，不影响往缓冲区写map结果的线程，溢写线程启动时不应该阻止map结果的输出。

2.缓存数据的分区(Partition)分组(Combiner)排序(Sort)

首先是分区（Partition）：我们拿到数据之后，需要知道这个map得到的<k, iteration V>要到哪个reduceTask里去完成。MapReduce提供Partitioner接口，它的作用就是根据key或value及reduce的数量来决定当前的这对输出数据最终应该交由哪个reduce task处理。默认对key hash后再以reduce task数量取模，默认的取模方式只是为了平均reduce的处理能力，如果用户自己对Partitioner有需求，可以订制并设置到job上。

然后是分组（Combiner）：拿WordCount举例子，会产生两个<Hello,1><Hello,1>这样，在传输的时候一个maptask里的数据传两个<Hello,1>过去reducetask，过于浪费了，不如变成<Hello,2>再传过去。Combiner和reducer很像（其实是reducer是Combiner…），reduce是从<K1,V1>变成<K2,V2>，combiner的区别就是从<K,V>变成<K,V>

最后讲排序（Sort）：spill 线程在把缓冲区的数据写到磁盘前，会对它进行一个二次快速排序，首先根据数据所属的partition 排序，然后每个partition 中再按Key 排序。输出包括一个索引文件和数据文件。如果设定了Combiner，将在排序输出的基础上运行。

3.文件合并（Merge）

每次spill会在磁盘上生成一个spill文件，如果map的输出结果真的很大，有多次这样的spill发生，磁盘上相应的就会有多个spill文件存在,当map task真正完成时，内存缓冲区中的数据也全部溢写到磁盘中形成一个溢写文件。最终磁盘中会至少有一个这样的溢写文件存在(如果map的输出结果很少，当map执行完成时，只会产生一个溢写文件)，因为最终的文件只有一个，所以需要将这些溢写文件归并到一起，这个过程就叫做Merge。