MAPREDUCE_java

  1. input : 读取文本文件;
  2. splitting : 将文件按照行进行拆分,此时得到的 ​​K1​​ 行数,​​V1​​ 表示对应行的文本内容;
  3. mapping : 并行将每一行按照空格进行拆分,拆分得到的 ​​List(K2,V2)​​,其中 ​​K2​​ 代表每一个单词,由于是做词频统计,所以 ​​V2​​ 的值为 1,代表出现 1 次;
  4. shuffling:由于 ​​Mapping​​ 操作可能是在不同的机器上并行处理的,所以需要通过 ​​shuffling​​ 将相同 ​​key​​ 值的数据分发到同一个节点上去合并,这样才能统计出最终的结果,此时得到 ​​K2​​ 为每一个单词,​​List(V2)​​ 为可迭代集合,​​V2​​ 就是 Mapping 中的 V2;
  5. Reducing : 这里的案例是统计单词出现的总次数,所以 ​​Reducing​​ 对 ​​List(V2)​​ 进行归约求和操作,最终输出。

MapReduce 编程模型中 ​​splitting​​​ 和 ​​shuffing​​​ 操作都是由框架实现的,需要我们自己编程实现的只有 ​​mapping​​​ 和 ​​reducing​​,这也就是 MapReduce 这个称呼的来源。

​combiner​​​ 是 ​​map​​​ 运算后的可选操作,它实际上是一个本地化的 ​​reduce​​​ 操作,它主要是在 ​​map​​​ 计算出中间文件后做一个简单的合并重复 ​​key​​ 值的操作。

​partitioner​​​ 可以理解成分类器,将 ​​map​​​ 的输出按照 key 值的不同分别分给对应的 ​​reducer​​,支持自定义实现。