背景

本文整理一些Hadoop YARN的相关内容。

简介

YARN(Yet Another Resource Negotiator)是Hadoop通用资源管理平台，为各类计算框架（离线MR、在线Storm、内存计算Spark等）提供统一的资源管理和调度。
它提供的功能有：

  • 统一资源管理和调度： 集群中所有节点的资源（内存、CPU、磁盘、网络）抽象为Container。计算框架需要向YARN申请Container，YARN按策略对资源进行调度与Container分配。
  • 资源隔离：YARN使用了轻量级资源隔离机制Cgroup进行资源隔离，避免互相干扰，一旦Container使用资源量超过阈值，即会被干掉。

hadoop 资源平衡 hadoop资源隔离_运维


图片来源于Hadoop官网

YARN最主要的思想是分离资源管理和任务调度/监控。先介绍几个名词：

  • ResourceManager,简称RM： 全局管理计算程序的资源分配调度
  • NodeManager,简称NM：负责各个节点的资源与任务管理，会定时向RM汇报本节点的Container使用与运行情况。同时接收并处理来自AM的Container启动、停止等请求。
  • ApplicationMaster,简称AM：每个提交的应用程序都有一个AM，它负责从RM获取资源并与NM协同监控执行应用的执行。
  • Container：Container是某个节点上多维度资源（内存、CPU、磁盘、网络）的抽象，YARN为每个任务分配Container并且任务只能使用该Container所描述的资源。

从上面的官方YARN架构示意图中，可以看到RM负责接收client提交的job，AM负责向RM申请资源，NM向RM汇报本节点资源使用情况等。

RM中主要还包含了两个核心组件：

  • Scheduler:负责根据容量、队列等条件，根据各个应用程序所需将系统中的资源分配给各个应用程序。
  • ApplicationsManager:负责管理整个系统中所有应用程序，包括提交、与调度器协商资源以启动AM，监控AM运行状态并在失败时重启等。

YARN工作流程

hadoop 资源平衡 hadoop资源隔离_大数据_02


图片来源于网络

YARN的具体工作流程为：

  1. 用户提交应用程序
  2. RM为该应用分配Container与对应NM通信，要求NM在Container中启动AM
  3. AM启动后向RM注册
  4. AM通过轮询向RM申请领用Container资源
  5. AM申请到资源后与NM通信，要求启动任务
  6. 运行中的程序会向AM通过协议通信同步运行状态与进度
  7. 在程序执行期间，client与AM通信同步任务状态信息
  8. 应用程序运行完毕后，AM向RM注销并关闭自己，Container资源被释放可以重用

参考

Apache Hadoop官网Hadoop 新 MapReduce 框架 Yarn 详解