Yarn是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台

1. yarn的基础架构

YARN主要由ResourceManager、NodeManager、ApplicationMaster和Container等组件构成 image.png

2. yarn的工作机制

  1. MR程序提交到客户端所在的节点
  2. YarnRunner向ResourceManager申请一个Application
  3. RM将该应用程序的资源路径返回给YarnRunner
  4. 该程序将运行所需资源提交到HDFS上
  5. 程序资源提交完毕后，申请运行mrAppMaster
  6. RM将用户的请求初始化成一个Task
  7. 其中一个NodeManager领取到Task任务
  8. 该NodeManager创建容器Container，并产生mrAppmaster
  9. Container从HDFS上拷贝资源到本地
  10. Appmaster向RM 申请运行MapTask资源
  11. RM将运行MapTask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器
  12. MR向两个接收到任务的NodeManager发送程序启动脚本，这两个NodeManager分别启动MapTask，MapTask对数据分区排序
  13. MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask
  14. ReduceTask向MapTask获取相应分区的数据
  15. 程序运行完毕后，MR会向RM申请注销自己

3. yarn的调度器和调度算法

目前，Hadoop作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair Scheduler）。Apache Hadoop3.1.3默认的资源调度器是Capacity Scheduler。 CDH框架默认调度器是Fair Scheduler。

3.1 先进先出调度器（FIFO）

FIFO调度器（First In First Out）：单队列，根据提交作业的先后顺序，先来先服务 image.png

3.2 容量调度器（Capacity Scheduler）

Capacity Scheduler是Yahoo开发的多用户调度器。 image.png 容量调度器的分配算法 image.png

3.3 公平调度器（Fair Scheduler）

Fair Schedulere是Facebook开发的多用户调度器。 image.png 公平调度器的设计目标：在时间的尺度上，所有作业获得公平的资源，某一时刻一个作业应获得和实际获得资源的差距叫“缺额” 公平调度器会优先选择缺额较大的作业分配资源 公平调度器的分配算法 image.png

4. yarn常用命令

4.1 yarn application查看任务

列出所有Application：

[root@hadoop102 hadoop-3.1.3]$ yarn application -list

根据Application状态过滤：yarn application -list -appStates （所有状态：ALL、NEW、NEW_SAVING、SUBMITTED、ACCEPTED、RUNNING、FINISHED、FAILED、KILLED）

[root@hadoop102 hadoop-3.1.3]$ yarn application -list -appStates FINISHED

Kill掉Application

[root@hadoop102 hadoop-3.1.3]$ yarn application -kill application_1612577921195_0001

4.2 yarn logs查看日志

查询Application日志：yarn logs -applicationId <ApplicationId>

[root@hadoop102 hadoop-3.1.3]$ yarn logs -applicationId application_1612577921195_0001

查询Container日志：yarn logs -applicationId <ApplicationId> -containerId <ContainerId>

[root@hadoop102 hadoop-3.1.3]$ yarn logs -applicationId application_1612577921195_0001 -containerId container_1612577921195_0001_01_000001

4.3 yarn applicationattempt查看尝试运行的任务

列出所有Application尝试的列表：yarn applicationattempt -list <ApplicationId>

[root@hadoop102 hadoop-3.1.3]$ yarn applicationattempt -list application_1612577921195_0001

打印ApplicationAttemp状态：yarn applicationattempt -status <ApplicationAttemptId>

[root@hadoop102 hadoop-3.1.3]$ yarn applicationattempt -status appattempt_1612577921195_0001_000001

4.4 yarn container查看容器

列出所有Container：yarn container -list <ApplicationAttemptId>

[root@hadoop102 hadoop-3.1.3]$yarn container -list appattempt_1612577921195_0001_000001

打印Container状态： yarn container -status <ContainerId>

[root@hadoop102 hadoop-3.1.3]$yarn container -status container_1612577921195_0001_01_000001

4.5 yarn node 查看节点状态

列出所有节点：yarn node -list -all

[root@hadoop102 hadoop-3.1.3]$yarn node -list -all

4.6 yarn rmadmin更新配置

加载队列配置：yarn rmadmin -refreshQueues

[root@hadoop102 hadoop-3.1.3]$yarn rmadmin -refreshQueues

4.7 yarn queue查看队列

打印队列信息：yarn queue -status <QueueName>

[root@hadoop102 hadoop-3.1.3]$yarn queue -status default