前几章我们介绍了 Hadoop 的 MapReduce 和 HDFS 两大组件，内容比较基础，看完后可以写简单的 MR 应用程序，也能够用命令行或 Java API 操作 HDFS。但要对 Hadoop 做深入的了解，显然不够用。因此本章就深入了解一下 MapReduce 应用的运行机制，从而学习 Hadoop 各个组件之间如何配合完成 MR 作业。本章是基于 Hadoop YARN 框架介绍，YARN（Yet Another Resource Negotiator）是 Hadoop 的集群资源管理器，也是 Hadoop2 的默认资源管理器。为什么要用 YARN 框架？ 简单来说 Hadoop1 的时候没有资源管理器，因此在 Hadoop1 集群只能运行 MR 作业。YARN 出现后统一管理集群的资源，因此 Spark、Storm 等其他分布式计算框架也能运行在 Hadoop 集群。同理，除了 YARN 还有其他的资源管理框架，目前比较火的是 k8s。

运行机制

运行一个 MR 程序主要涉及以下 5 个部分：

  • 客户端： 提交 MR 作业，也就是我们运行 hadoop jar xxx 的命令后，启动的 Java 程序
  • YARN ResourceManager： YARN 集群主节点，负责协调集群上计算资源的分配
  • YARN NodeManager：YARN 集群从节点，负责启动和监视机器上的容器（container）
  • MapReduce Application Master：负责协调  MR 作业，当然 Spark 作业也有对应的 application master

运行 MR 任务的工作原理如下图，本图摘自《Hadoop 权威指南（第四版）》：

运行hadoop太卡_大数据

 

步骤1 是我们在客户端节点（集群中的某台机器）执行 hadoop jar xxx 命令后，启动 MR 作业的流程，后续会涉及以下几个重要流程

  • 作业的提交和初始化
  • 任务的分配与执行
  • 进度和状态的更新

下面会详细介绍每个流程。这里我们将编写的整个 MR 程序叫做作业，MR作业运行后的 map 或 reduce 任务统称为任务。

任务的提交和初始化

作业的提交

  • 向 ResourceManager 申请一个新的应用 ID（步骤 2），之前的 MR 例子我们可以看到，应用 ID 的形式为：application_1551593879638_0009
  • 计算作业分片检查作业的输入输出，若输入文件不可分割或者输入路径不存在，报错返回；如果没有指定输出路径或者输出路径已存在，报错返回
  • 将作业运行所需的资源（jar、配置文件和分片信息等）复制到共享文件系统中（步骤 3），默认为 HDFS 。目录名称以应用 ID 命名
  • 调用 ResourceManager 的 submitApplication() 方法提交作业（步骤4）

以上的流程均在客户端节点完成。

作业的初始化

ResourceManager 收到调用它的 submitApplication() 方法后，会在 NodeManager 中分配一个 container （步骤 5a），在 container 中启动 application master（步骤 5b） 。MapReduce application master 的主类是 MRAppMaster。application master 完成初始化后（步骤 6），从共享文件系统（如：HDFS）获取分片信息（步骤 7）。对每个分片创建一个 map 任务和 reduce 任务，并分配任务 ID。如果 application master 判断该任务不是 uber 任务，那么接下来会进行任务分配。

任务分配与运行

任务分配

application master 会为 map 任务和 reduce 任务向 ResourceManager 申请分配资源。map 任务的优先级高于 reduce 任务，且直到 5% 的 map 任务完成时，reduce 任务请求才能发出。reduce 任务可以在集群的任意机器执行，但 map 任务有数据本地化的限制，理想情况下数据分片和 map 任务在同一节点运行，即数据本地化（data local），这样 map 任务直接读取本地的数据，不需要网络 IO。如果达不到理想情况，可以在数据节点同一机架上启动 map 任务，即机架本地化（rack local），这样 map 任务从同机架上其他节点将数据拷贝到自己的节点。最差的情况是分片和 map 任务不在同一机架，需要跨机架拷贝数据。application master 申请的资源包括内存和 CPU 核心数，申请的大小可以通过 4 个属性指定：

  • mapreduce.map.memory.mb：map 任务内存， 单位：MB，默认：1024
  • mapreduce.map.cpu.vcores：map 任务 CPU 核心数，默认：1
  • mapreduce.reduce.memory.mb：reduce 任务内存，单位：MB，默认：1024
  • mapreduce.reduce.cpu.vcores：reduce 任务 CPU 核心数，默认：1

任务执行

ResourceManager 为任务在某个 NodeManager 上分配容器后（步骤 9a），application master 会与该 NodeManager 通信来启动容器（步骤 9b）。该任务的主类为 YarnChild，该任务运行前会先将共享文件系统（如：HDFS）上的文件本地化（步骤 10），文件包括：配置文件、JAR包和分布式缓存文件。最后，运行 map 或 reduce 任务（步骤 11）。

进度和状态更新

当用户成功提交并且作业成功运行后，用户希望能够看到作业的运行状态。一个作业和它的每个任务都有一个状态，包括：作业或任务的状态（比如，运行中、成功或失败），map 或 reduce 任务的进度以及计数器值等。

  • 当 map 或 reduce 任务运行时，通过接口向自己的 application master 上报进度和状态
  • 作业的运行期间，客户端请求 application master 以获得最新的状态

流程图如下：

运行hadoop太卡_java_02

 

作业的完成

application master 接到最后一个任务成功完成的通知后，便把作业置位成功得状态。可以端查询到任务成功完成后，从 waitCompletion() 方法返回。作业的统计信息和计数器值输出在控制台。最后，application master 会做一些清理工作，作业信息由 JobHistoryServer 存档，以便用户以后查询。

小结

本章主要介绍 MR 作业的运行机制，并且了解了 YARN 集群主从节点职责及其相互之间的配合。通过这篇文章的介绍希望读者对 MR 作业的运行机制有大致的了解。我们可以简单总结下本章介绍的相关组件的作用。