- input : 读取文本文件;
- splitting : 将文件按照行进行拆分,此时得到的
K1
行数,V1
表示对应行的文本内容; - mapping : 并行将每一行按照空格进行拆分,拆分得到的
List(K2,V2)
,其中 K2
代表每一个单词,由于是做词频统计,所以 V2
的值为 1,代表出现 1 次; - shuffling:由于
Mapping
操作可能是在不同的机器上并行处理的,所以需要通过 shuffling
将相同 key
值的数据分发到同一个节点上去合并,这样才能统计出最终的结果,此时得到 K2
为每一个单词,List(V2)
为可迭代集合,V2
就是 Mapping 中的 V2; - Reducing : 这里的案例是统计单词出现的总次数,所以
Reducing
对 List(V2)
进行归约求和操作,最终输出。
MapReduce 编程模型中 splitting
和 shuffing
操作都是由框架实现的,需要我们自己编程实现的只有 mapping
和 reducing
,这也就是 MapReduce 这个称呼的来源。
combiner
是 map
运算后的可选操作,它实际上是一个本地化的 reduce
操作,它主要是在 map
计算出中间文件后做一个简单的合并重复 key
值的操作。
partitioner
可以理解成分类器,将 map
的输出按照 key 值的不同分别分给对应的 reducer
,支持自定义实现。