一、Shuffle机制

Mapreduce确保每个reducer的输入都是按键排序的。系统执行排序的过程（即将map输出作为输入传给reducer）称为shuffle。

二、MapReduce工作流程

1.图示流程

hadoop流数据处理 hadoop流程_数据倾斜

2.流程详解

上面的流程是整个mapreduce最全工作流程，但是shuffle过程只是从第7步开始到第16步结束，具体shuffle过程详解，如下：

  • 1）maptask收集我们的map()方法输出的kv对，放到内存缓冲区中
  • 2）从内存缓冲区不断溢出本地磁盘文件，可能会溢出多个文件
  • 3）多个溢出文件会被合并成大的溢出文件
  • 4）在溢出过程中，及合并的过程中，都要调用partitoner进行分组和针对key进行排序
  • 5）reducetask根据自己的分区号，去各个maptask机器上取相应的结果分区数据
  • 6）reducetask会取到同一个分区的来自不同maptask的结果文件，reducetask会将这些文件再进行合并（归并排序）
  • 7）合并成大文件后，shuffle的过程也就结束了，后面进入reducetask的逻辑运算过程（从文件中取出一个一个的键值对group，调用用户自定义的reduce()方法）

3.注意

Shuffle中的缓冲区大小会影响到mapreduce程序的执行效率，原则上说，缓冲区越大，磁盘io的次数越少，执行速度就越快。 缓冲区的大小可以通过参数调整，参数：io.sort.mb 默认100M

三、partition分区

注意：

  • 如果reduceTask的数量> getPartition的结果数，则会多产生几个空的输出文件part-r-000xx；
  • 如果1<reduceTask的数量<getPartition的结果数，则有一部分分区数据无处安放，会Exception；
  • 如果reduceTask的数量=1，则不管mapTask端输出多少个分区文件，最终结果都交给这一个reduceTask，最终也就只会产生一个结果文件 part-r-00000；
  • 例如：假设自定义分区数为5，则
  • （1）job.setNumReduceTasks(1);会正常运行，只不过会产生一个输出文件
  • （2）job.setNumReduceTasks(2);会报错
  • （3）job.setNumReduceTasks(6);大于5，程序会正常运行，会产生空文件

四、排序

1.排序的分类：

  • （1）部分排序：MapReduce根据输入记录的键对数据集排序。保证输出的每个文件内部排序。
  • （2）全排序：如何用Hadoop产生一个全局排序的文件？最简单的方法是使用一个分区。但该方法在处理大型文件时效率极低，因为一台机器必须处理所有输出文件，从而完全丧失了MapReduce所提供的并行架构。
  • 替代方案：首先创建一系列排好序的文件；其次，串联这些文件；最后，生成一个全局排序的文件。主要思路是使用一个分区来描述输出的全局排序。例如：可以为上述文件创建3个分区，在第一分区中，记录的单词首字母a-g，第二分区记录单词首字母h-n, 第三分区记录单词首字母o-z。
  • （3）辅助排序：（GroupingComparator分组）
  • Mapreduce框架在记录到达reducer之前按键对记录排序，但键所对应的值并没有被排序。甚至在不同的执行轮次中，这些值的排序也不固定，因为它们来自不同的map任务且这些map任务在不同轮次中完成时间各不相同。一般来说，大多数MapReduce程序会避免让reduce函数依赖于值的排序。但是，有时也需要通过特定的方法对键进行排序和分组等以实现对值的排序。

2.自定义排序WritableComparable

原理分析：bean对象实现WritableComparable接口重写compareTo方法，就可以实现排序

五、GroupingComparator分组

  • 原理分析：对reduce阶段的数据根据某一个或几个字段进行分组。

六、 Combiner合并

  1. combiner是MR程序中Mapper和Reducer之外的一种组件
  2. combiner组件的父类就是Reducer
  3. combiner和reducer的区别在于运行的位置：
  • Combiner是在每一个maptask所在的节点运行
  • Reducer是接收全局所有Mapper的输出结果；
  1. combiner的意义就是对每一个maptask的输出进行局部汇总，以减小网络传输量
  2. 自定义Combiner实现步骤：
  • （1）自定义一个combiner继承Reducer，重写reduce方法
public class WordcountCombiner extends Reducer<Text, IntWritable, Text, IntWritable>{
	@Override
	protected void reduce(Text key, Iterable<IntWritable> values,
			Context context) throws IOException, InterruptedException {
		int count = 0;
		for(IntWritable v :values){
			count = v.get();
		}
		context.write(key, new IntWritable(count));
	}
}
  • （2）在job中设置：
job.setCombinerClass(WordcountCombiner.class);
  1. combiner能够应用的前提是不能影响最终的业务逻辑，而且，combiner的输出kv应该跟reducer的输入kv类型要对应起来

七、数据倾斜&Distributedcache

  1. 数据倾斜原因：如果是多张表的操作都是在reduce阶段完成，reduce端的处理压力太大，map节点的运算负载则很低，资源利用率不高，且在reduce阶段极易产生数据倾斜。
  2. 实际案例
  3. 解决方案: 在map端缓存多张表，提前处理业务逻辑，这样增加map端业务，减少reduce端数据的压力，尽可能的减少数据倾斜。
  4. 具体办法：采用distributedcache
  • 在mapper的setup阶段，将文件读取到缓存集合中
  • 在驱动函数中加载缓存。
  • job.addCacheFile(new URI("file:/j:/pd.txt"));// 缓存普通文件到task运行节点