MRv1与YARN的区别及实例

引言

MapReduce（简称MR）是一种用于大规模数据处理的编程模型。在Hadoop生态系统中，有两个版本的MapReduce：MRv1和YARN。本文将介绍MRv1和YARN的区别，并通过代码示例来演示它们的使用方法。

MRv1

MRv1是早期版本的MapReduce，在Hadoop 1.x中使用。它采用了经典的MR模型，由JobTracker和TaskTracker组成。

JobTracker负责管理作业的提交、资源调度和任务分配。它会将作业划分为多个任务，并将这些任务分配给可用的TaskTracker节点。

TaskTracker是作业执行的工作节点。它负责执行任务并将进度信息和结果报告给JobTracker。

MRv1的类图如下所示：

classDiagram
    class JobTracker{
        - jobSubmit()
        - resourceSchedule()
        - taskAssign()
    }
    class TaskTracker{
        - taskExecute()
        - progressReport()
        - resultReport()
    }

YARN

YARN（Yet Another Resource Negotiator）是Hadoop 2.x引入的下一代资源管理器。与MRv1相比，YARN具有更灵活的资源调度和管理能力。

YARN由ResourceManager和NodeManager组成。

ResourceManager是整个集群的主要资源管理器。它负责协调作业的资源请求和分配，并监控集群中的节点状态。

NodeManager是管理每个节点上资源的代理。它负责处理ResourceManager的命令并监控节点的资源使用情况。

与MRv1相比，YARN的类图略有不同：

classDiagram
    class ResourceManager{
        - resourceRequest()
        - resourceAllocation()
        - nodeStatusReport()
    }
    class NodeManager{
        - handleResourceManagerCommand()
        - monitorResourceUsage()
    }

MRv1与YARN的区别

MRv1和YARN之间的主要区别在于资源管理和调度的方式。

在MRv1中，JobTracker负责资源调度和任务分配。它使用一种静态的槽位（slot）模型来管理资源，将任务分配给可用的TaskTracker节点。这种模型的缺点是无法有效地处理动态资源需求和多租户场景。

而YARN采用了一种更灵活的容器（Container）模型。ResourceManager将资源分配给不同的应用程序，并在运行时动态管理资源的分配。这使得YARN可以更好地适应各种资源需求，并支持多个应用程序共享集群资源的场景。

代码示例

下面是一个使用MRv1的WordCount示例代码：

public static class Map extends MapReduceBase implements Mapper<LongWritable, Text, Text, IntWritable> {
    private final static IntWritable one = new IntWritable(1);
    private Text word = new Text();

    public void map(LongWritable key, Text value, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
        String line = value.toString();
        StringTokenizer tokenizer = new StringTokenizer(line);
        while (tokenizer.hasMoreTokens()) {
            word.set(tokenizer.nextToken());
            output.collect(word, one);
        }
    }
}

public static class Reduce extends MapReduceBase implements Reducer<Text, IntWritable, Text, IntWritable> {
    public void reduce(Text key, Iterator<IntWritable> values, OutputCollector<Text, IntWritable> output, Reporter reporter) throws IOException {
        int sum = 0;
        while (values.hasNext()) {
            sum += values.next().get();
        }
        output.collect(key, new IntWritable(sum));
    }
}

public static void main(String[] args) throws Exception {
    JobConf conf = new JobConf(WordCount.class);
    conf.setJobName("wordcount");

    conf.setOutputKeyClass(Text.class);
    conf.setOutputValueClass(IntWritable.class);

    conf.setMapperClass(Map.class);
    conf.setCombinerClass(Reduce.class);
    conf.setReducerClass(Reduce.class);

    conf.setInputFormat(TextInputFormat.class);
    conf.setOutputFormat(TextOutputFormat.class);

    FileInputFormat.setInputPaths(conf, new Path(args[0]));
    FileOutputFormat.setOutputPath(conf, new Path(args[1]));

    JobClient.runJob(conf);
}

同样，这是一个使用YARN的WordCount示例代码：

public static class TokenizerMapper extends Mapper<Object, Text, Text, IntWritable>{
    private final static IntWritable one = new IntWritable(1);