目前，Hadoop作业调度器主要有三种，FIFO、Capacity Scheduler（容量调度器）和Fair Scheduler（公平调度器）。
Hadoop3.1.4默认的资源调度器是Capacity Scheduler。
CDH框架默认调度器是Fair Scheduler
具体设置在yarn-default.xml文件中：
<property>
<description>The class to use as the resource scheduler.</description>
<name>yarn.resourcemanager.scheduler.class</name>
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>1、先进先出调度器（FIFO）
FIFO 调度器（First In First Out）：单队列，根据提交作业的先后顺序，先来先服务。
优点：简单易懂
缺点：不支持多队列，生产环境很少使用
2、容量调度器（Capacity Scheduler）
Capacity Scheduler 是 Yahoo 开发的多用户（多用户：有多个注册的用户可以向集群提交任务）调度器。是默认调度器。
2.1 特点
2.1.1 多队列
每个队列可配置一定的资源量 （比如：A：20%，B：50%，C：30%），每个队列采用FIFO调度策略。
按到到达时间，优先满足先进来的任务的资源。
例如：总资源量为100G，则队列A分得20%，就是20G。
在queueA中：运行job11需要10G，运行job12需要5G，运行job13需要8G
那么：分配job11运行任务还剩余10G，同时剩余10G可满足job12同时运行任务，还剩5G可满足job13暂时启动
2.1.2 容量保证
管理可为每个队列设置资源最低保证和资源使用上限。
最低资源保证：设置的目的是保障每个队列都有一定资源执行任务
资源使用上限：即分配的资源比例（A：20%，B：50%，C：30%，可自定义）
2.1.3 灵活性
如果一个队列中的资源有剩余，可暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列（因为队列具有本队列资源优先级的特点）。
2.1.4 多用户：
例如queueC:用户ss占队列c的50%，cls占50%
1.支持多用户共享集群和多个应用程序同时运行。
2.为了防止同一用户的作业独占队列中的资源，该调度器会对同一用户提交的作业所占资源量进行限定。
2.2 容量调度器资源分配的算法
1）队列资源分配
从root开始，使用深度优先算法，优先
选择资源占用率最低的队列分配资源。
2）作业资源分配
默认按照提交作业的优先级和提交时间
顺序分配资源。
3）容器资源分配
按照容器的优先级分配资源；
如果优先级相同，按照数据本地性原则：
（1）任务和数据在同一节点
（2）任务和数据在同一机架
（3）任务和数据不在同一节点也不在同一机架
3、公平调度器
Fair Schedulere 是 Facebook 开发的多用户调度器。
同队列所有任务共享资源，在时间尺度上获得公平的资源
队列中每个task均分所在队列的资源
3.1、特点
1）与容量调度器的相同点
（1）多队列：支持多队列多作业。
（2）容量保证：管理员可为每个队列设置最低资源保证和资源使用上限。
（3）灵活性：如果一个队列中的资源有剩余，可暂时共享给那些需要资源的队列，而一旦该队列有新的应用程序提交，则其他队列借调的资源会归还给该队列（因为队列具有本队列资源优先级的特点）。
2）与容量调度器的不同点
（1）核心调度策略不同
容量调度器：优先选择资源利用率低的队列
公平调度器：优先选择对资源的缺额比例大的（缺额在下面详解）
（2）每个队列可以单独设置资源分配方式
容量调度器：FIFO(默认的：分配RAM)、DRF(RAM+CPU)
公平调度器：FIFO、DRF、FAIR(默认)
3.2、公平调度器_缺额
一个队列中的任务正在运行时，加进来一个job，此时调度器需要将队列中的任务抢出部分资源分配给新加的job，就需要一点时间缓冲，此时在时间上就有一点时间差，这个时间差就叫缺额。
3.3、公平调度器队列资源分配方式
1）FIFO策略
公平调度器每个队列资源分配策略如果选择FIFO的话，此时公平调度器相当于上面讲过的容量调度器。
2）Fair策略
Fair 策略（默认）是一种基于最大最小公平算法实现的资源多路复用方式，默认情况下，每个队列内部采用该方式分配资源。这意味着，如果一个队列中有两个应用程序同时运行，则每个应用程序可得到1/2的资源；如果三个应用程序同时运行，则每个应用程序可得到1/3的资源。
具体资源分配流程和容量调度器一致；
（1）选择队列
（2）选择作业
（3）选择容器
以上三步，每一步都是按照公平策略分配资源
➢ 实际最小资源份额：mindshare = Min（资源需求量，配置的最小资源）
➢ 是否饥饿：isNeedy = 资源使用量 < mindshare（实际最小资源份额）
➢ 资源分配比：minShareRatio = 资源使用量 / Max（mindshare, 1）
➢ 资源使用权重比：useToWeightRatio = 资源使用量 / 权重3）DRF策略
DRF（Dominant Resource Fairness），我们之前说的资源，都是单一标准，例如只考虑内存（也是Yarn默认的情况）。但是很多时候我们资源有很多种，例如内存，CPU，网络带宽等，这样我们很难衡量两个应用应该分配的资源比例。
那么在YARN中，我们用DRF来决定如何调度：
假设集群一共有100 CPU和10T 内存，而应用A需要（2 CPU, 300GB），应用B需要（6 CPU，100GB）。
则两个应用分别需要A（2%CPU, 3%内存）和B（6%CPU, 1%内存）的资源，这就意味着A是内存主导的, B是CPU主导的，针对这种情况，我们可以选择DRF策略对不同应用进行不同资源（CPU和内存）的一个不同比例的限制。
3.4、公平调度器资源分配算法
（1）队列资源的分配
（2）作业资源的分配
