YARN
YARN（Yet Another Resource Negotiator）是Hadoop的集群资源管理系统。
分布式计算框架（MapReduce，Spark）作为YARN应用运行在集群计算层（YARN）和集群存储层（HDFS和Hbase）之上。而Pig，Hive等都是运行在MapReduce，Spark之上的处理框架，它们不和YARN直接打交道。
HDFS，HBase -> YARN -> MapReduce,Spark ->Hive,Pig
YARN结构解析
ResourceManager
- 处理客户端请求
- 启动/监控ApplicationMaster
- 监控NodeManager
- 资源分配与调度
NodeManager
- 单个节点上的资源管理
- 处理ResourceManager的命令
- 处理ApplicationMaster的命令
ApplicationMaster
- 数据切分
- 为应用程序申请资源，并分配给内部任务
- 任务监控与容错
Container
- 对任务运行环境的抽象，封装CPU，内存等资源以及环境变量，启动命令等任务运行相关信息
YARN应用
YARN通过两类长期运行的守护进程提供核心服务：
- 管理集群上资源使用的资源管理器
- 运行在集群中所有节点上且能够启动和监控容器的节点管理器
容器用于执行特定应用程序的进程，每个容器都有资源限制。
YARN中应用到用户运行作业之间的对应关系：
- 一个用户作业对应一个应用，MapReduce
- 作业的每个工作流或每个用户对话对应一个应用，Spark
- 多个用户共享一个长期运行的应用
YARN中的调度
YARN调度器是根据既定策略为应用分配资源，有三个调度器：
- FIFO调度器
- 容量调度器
- 公平调度器
FIFO调度器
FIFO调度器将应用放置在一个队列中，然后按照提交的顺序运行应用，先进先出。
容量调度器
在FIFO中容易出现小作业阻塞，即等待大作业完成之后才能运行。
在容量调度器中，设置了一个独立的专门队列保存小作业，一提交就可以启动，需要为小作业预留一定资源，即为队列预留一定的资源。
即其有多个队列，每一个队列预留一定的资源，每个队列采用FIFO调度。
在capacity-scheduler.xml文件中配置各个队列大小。
公平调度器
不需要预留资源，调度器会在所有运行的作业之间动态平衡资源。
第一个大作业启动，它是唯一运行的作业，则会获得集群所有的资源。当第二个小作业启动，它被分配到集群的一半资源，但是它需要等待第一个作业将这一半资源释放。等第二个作业完成之后，大作业将会再次得到全部的资源。
在fair-scheduler.xml中哦诶之各个队列大小（分配权重），用于公平共享计算。
抢占：允许调度器终止那些占用资源超过其公平共享份额的队列的容器，资源释放后可以分配给资源数量低于应得份额的队列。抢占功能有两个抢占超时设置：
- 最小共享
在指定时间内未获得被承若的最小共享资源，调度器会抢占其他容器。 - 公平共享
在指定时间呃逆获得的资源仍然低于其公平共享份额的一半，调度器会抢占其他容器。
