User program start master and worker
master assign task to the map worker and reduce worker
Master split the input data
each map worker read the split of input data
each map worker do the map job on their machine
each map worker output the file in the local disk of its worker
each reduce worker fetch the data from the map worker
each reducer worker do the reduce job on their machine
reduce worker output the final output data
MapReduce详细精简流程
转载本文章为转载内容,我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题,欢迎原作者联系我们进行内容更正或删除文章。
提问和评论都可以,用心的回复会被更多人看到
评论
发布评论
相关文章
-
MAPREDUCE详细过程
在进行map计算之前,mapreduce会根据输入文件计算输入分片(inputsplit),每个输入分片
大数据 数据 数据排序 数据存储 -
MapReduce 流程详述
一、MapReduce的提出、介绍MapReduce 是一个编程模型,也是一个处理和 value 值。因此,可以将许多数据处理问题,转化为...
MapReduce 流程详述 MapReduce Hadoop 数据 HDFS -
MapReduce流程详解
通过对本本章对MapReduce的流程有一个详细的了解
MapReduce 流程