129-Hadoop-Yarn-调度器：
Yarn 调度器和调度算法 （了解概念）
目前，Hadoop 作业调度器主要有三种：FIFO、容量（Capacity Scheduler）和公平（Fair
Scheduler）。Apache Hadoop3.1.3 默认的资源调度器是 Capacity Scheduler。
CDH 框架默认调度器是 Fair Scheduler。
<property>
<description>The class to use as the resource scheduler.</description>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>先进先出调度器（FIFO）
优点：简单易懂；
缺点：不支持多队列，生产环境很少使用；
FIFO 调度器（First In First Out）：单队列，根据提交作业的先后顺序，先来先服务。
容量调度器（Capacity Scheduler）
1、多队列：每个队列可配置一定的资源量，每个队列采用FIFO调度策略。
2、容量保证(A)：管理员可为每个队列设置资源最低保证和资源使用上限
3、灵活性(B)：如果一个队列中的资源有剩余，可以暂时共享给那些需要资源的队列，而一旦该队列有新的应用
程序提交，则其他队列借调的资源会归还给该队列。
4、多租户©：
支持多用户共享集群和多应用程序同时运行。
为了防止同一个用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。
容量调度器资源分配算法(先运行占用资源少的，快，结束会有更多资源，就近原则)
**公平调度器（**Fair Scheduler）Facebook 开发
公平调度器特点
公平调度器——缺额
• 公平调度器设计目标是：在时间尺度上，所有作业获得公平的资源。某一
时刻一个作业应获资源和实际获取资源的差距叫“缺额”
• 调度器会优先为缺额大的作业分配资源
公平调度器队列资源分配方式
1**）FIFO策略**
公平调度器每个队列资源分配策略如果选择FIFO的话，此时公平调度器相当于上面讲过的容量调度器。
2**）Fair策略**
Fair 策略（默认）是一种基于最大最小公平算法实现的资源多路复用方式，默认情况下，每个队列内部采用该方式分配资 源。这意味着，如果一个队列中有两个应用程序同时运行，则每个应用程序可得到1/2的资源；如果三个应用程序同时运行，则 每个应用程序可得到1/3的资源。
具体资源分配流程和容量调度器一致；
（1）选择队列
（2）选择作业
（3）选择容器
以上三步，每一步都是按照公平策略分配资源
➢ 实际最小资源份额：mindshare = Min（资源需求量，配置的最小资源）
➢ 是否饥饿：isNeedy = 资源使用量 < mindshare（实际最小资源份额）
➢ 资源分配比：minShareRatio = 资源使用量 / Max（mindshare,
➢ 资源使用权重比：useToWeightRatio = 资源使用量 / 权重
公平调度器资源分配算法
公平调度器队列资源分配方式
公平调度器队列资源分配方式
DRF策略
DRF（Dominant Resource Fairness），我们之前说的资源，都是单一标准，例如只考虑内存（也是Yarn默 认的情况）。但是很多时候我们资源有很多种，例如内存，CPU，网络带宽等，这样我们很难衡量两个应用应该分配的资源比例。 那么在YARN中，我们用DRF来决定如何调度： 假设集群一共有100 CPU和10T 内存，而应用A需要（2 CPU, 300GB），应用B需要（6 CPU，100GB）。 则两个应用分别需要A（2%CPU, 3%内存）和B（6%CPU, 1%内存）的资源，这就意味着A是内存主导的, B是 CPU主导的，针对这种情况，我们可以选择DRF策略对不同应用进行不同资源（CPU和内存）的一个不同比 ）。 则两个应用分别需要A（2%CPU, 3%内存）和B（6%CPU, 1%内存）的资源，这就意味着A是内存主导的, B是CPU主导的，针对这种情况，我们可以选择DRF策略对不同应用进行不同资源（CPU和内存）的一个不同比例的限制
