一、从Map到Reduce

MapReduce事实上是分治算法的一种实现。其处理过程亦和用管道命令来处理十分相似,一些简单的文本字符的处理甚至也能够使用Unix的管道命令来替代,从处理流程的角度来看大概例如以下:

cat input | grep |   sort  |  uniq -c | cat > output
# Input -> Map -> Shuffle & Sort -> Reduce -> Output

简单的流程图例如以下:

How MapReduce Works_jar

对于Shuffle,简单地说就是将Map的输出通过一定的算法划分到合适的Reducer中进行处理。

Sort当然就是对中间的结果进行按key排序。由于Reducer的输入是严格要求按key排序的。

Input->Map->Shuffle&Sort->Reduce->Output 仅仅是从宏观的角度对MapReduce的简单描写叙述,实际在MapReduce的框架中,即从编程的角度来看,其处理流程是 Input->Map->Sort->Combine->Partition->Reduce->Output。用之前的对温度进行统计的样例来讲述这些过程。

Input Phase

输入的数据须要以一定的格式传递给Mapper的,格式有多种,如TextInputFormat、DBInputFormat、 SequenceFileInput等等。能够使用JobConf.setInputFormat来设置。这个过程还应该包含对输入的数据进行任务粒度划分(split)然后再传递给Mapper。在温度的样例中,因为处理的都是文本数据,输入的格式使用默认的TextInputFormat就可以。

Map Phase

对输入的key、value对进行处理,输出的是key、value的集合,即map (k1, v1) -> list(k2, v2),使用JobConf.setMapperClass设置自己的Mapper。在样例中,将(行号、温度的文本数据)作为key/value输入。经过处理后,从温度的文件数据中提取出日期中的年份和该日的温度数据。形成新的key/value对。最后以list(年,  温度)的结果输出,如[(1950, 10), (1960, 40), (1960, 5)]。

Sort Phase

对 Mapper输出的数据进行排序。能够通过JobConf.setOutputKeyComparatorClass来设置自己的排序规则。在样例中,经过排序之后,输出的list集合是按年份进行排序的list(年, 温度),如[(1950, 10), (1950, 5), (1960, 40)]。

Combine Phase

这个阶段是将中间结果中有同样的key的<key, value>对合并成一对,Combine的过程与Reduce非常相似。使用的甚至是Reduce的接口。通过Combine可以降低<key, value>的集合数量。从而降低网络流量。Combine仅仅是一个可选的优化过程。而且不管Combine运行多少次(>=0)。都会使 Reducer产生同样的输出,使用JobConf.setCombinerClass来设置自己定义的Combine Class。在样例中,假如map1产生出的结果为[(1950, 0), (1950, 20), (1950, 10)],在map2产生出的结果为[(1950, 15), (1950, 25)],这两组数据作为Reducer的输入并经过Reducer处理后的年最高温度结果为(1950, 25)。然而当在Mapper之后加了Combine(Combine先过滤出最高温度)。则map1的输出是[(1950, 20)]和map2的输出是[(1950, 25)],尽管其它的三组数据被抛弃了,可是对于Reducer的输出而言,处理后的年最高温度依旧是(1950, 25)。

Partition Phase

把 Mapper任务输出的中间结果按key的范围划分成R份(R是预先定义的Reduce任务的个数)。默认的划分算法是”(key.hashCode() & Integer.MAX_VALUE) % numPartitions”。这样保证了某一范围的key一定是由某个Reducer来处理,简化了Reducer的处理流程。使用 JobConf.setPartitionClass来设置自己定义的Partition Class。在样例中。默认就自然是对年份进行取模了。

Reduce Phase

Reducer获取Mapper输出的中间结果。作为输入对某一key范围区间进行处理,使用JobConf.setReducerClass来设置。

在样例中。与Combine Phase中的处理是一样的,把各个Mapper传递过来的数据计算年最高温度。

Output Phase

Reducer的输出格式和Mapper的输入格式是相相应的,当然Reducer的输出还能够作为还有一个Mapper的输入继续进行处理。

二、Details of Job Run

上面仅仅是从task执行中描写叙述了Map和Reduce的过程,实际上当从执行”hadoop jar”開始还涉及到非常多其它的细节。从整个Job执行的流程来看,例如以下图所看到的:

How MapReduce Works_mapreduce_02

从上图能够看到。MapReduce执行过程中涉及有4个独立的实体:


  • Client,用于提交MapReduce job。
  • JobTracker,负责协调job的执行。
  • TaskTrackers,执行 job分解后的多个tasks,task主要是负责执行Mapper和Reducer。
  • Distributed filesystem,用于存储上述实体执行时共享的job文件(如中间结果文件)。

Job Submission

当调用了JobClient.runJob()之后。Job便開始被提交了,在Job提交这个步骤中,经历了下面的过程:


  1. Client向JobTacker申请一个新的job ID(step 2),job ID形如job_200904110811_0002的格式,是由JobTracker执行当前的job的时间和一个由JobTracker维护的自增计数(从1開始)组成的。
  2. 检查job的output specification。比方输出文件夹是否已经存在(存在则抛异常)、是否有权限写等等。
  3. Computes the input splits for the job。这些input splits就是作为Mapper的输入。
  4. Copies the resources needed to run the job, including the job JAR file, the configuration file and the computed input splits, to the jobtracker’s filesystem in a direcotry named after the job ID(step 3)。
  5. Tells the jobtracker that the job is ready for execution(step 4)。

Job Initialization

当 JobTracker收到Job提交的请求后,将job保存在一个内部队列,并让Job Scheduler处理并初始化。初始化涉及到创建一个封装了其tasks的job对象,并保持对task的状态和进度的依据(step 5)。当创建要执行的一系列task对象后,Job Scheduler首先開始从文件系统中获取由JobClient计算的input splits(step 6)。然后再为每一个split创建map task。

Task Assignment

TaskTrackers 会使用一个简单的loop为定期向JobTracker发送heartbeat调用。发送的间隔时间大约5秒,一般取决于集群server的规模和繁忙程度以及网络拥挤程度。

这个heartbeat一方面是告知JobTracker当前TaskTracker处于live状态,同一时候是用于JobTracker和 TaskTracker进行通信,TaskTracker会依据heartbeat的返回值来运行一定的操作(step 7)。

To choose a reduce task the JobTracker simply takes the next in its list of yet-to-be-run reduce tasks, since there are no data locality considerations. For a map task, however, it takes account of the TaskTracker’s network location and picks a task whose input splits is as close as possible to the tasktracker. In the optimal case, the task is data-local, that is , running on the same node that the split resides on. Alternatively, the task may be rack-local: on the same rack, but not the same node, as the split.

Task Execution

当 TaskTrack被分配到一个task之后。接下来就是执行这个task。

首先,它会须要的job JAR文件从shared filesystem复制到local filesystem。然后创建一个working direcotry并un-jars拷贝的JAR文件到该directory。最后就创建一个TaskRunner对象执行task。

TaskRunner 在执行的时候是启动了一个新的JVM来run each task(step 10),这样是为了防止在用户自己定义的Mapper出现异常令JVM挂了,从而连累到TaskTracker。TaskRunner子进程会使用 umbilical接口和TaskTracker通信并每隔几秒向TaskTracker汇报进度。

对于使用Streaming和Pipes方式来创建的Mapper,也是作为TaskTracker的子进程来执行的。

Streaming是使用标准输入输出来通信,而Pipes是使用socket来进行通信,例如以下图:

How MapReduce Works_mapreduce_03

Progress and Status Updates

进度和状态是通过heartbeat来更新和维护的。来对于Map Task。进度就是已处理数据和全部输入数据的比例。对于Reduce Task。情况就有点复杂,包含3部分,拷贝中间结果文件、排序、Reduce调用,每部分占1/3。

Job Completion

当 Job完毕后,JobTracker会收一个Job Complete的通知,并将当前的Job状态更新为Successful,同一时候JobClient也会轮循获知提交的Job已经完毕,将信息显示给用户。最后,JobTracker会清理和回收该Job的相关资源。并通知TaskTracker进行同样的操作