对于节点数超过 4000 的大型集群，前一节描述的 MapReduce 系统开始面临着扩展的瓶颈。 2010 年 Yahoo 的团队开始设计下一代的 MapReduce。 （Yet Another Resource Negotiator、YARN Application Resource Nefotiator）。
YARN 将 JobTracker 的只能划分为多个独立的实体，从而改善了 MR1 面临的扩展瓶颈问题。 JobTracker 负责作业调度和任务进度监视，追踪任务、重启失败或过慢的任务和进行任务登记，例如维护计数器总数。
YARN 将这两种角色划分为两个独立的守护进程：
资源管理器：
管理集群上资源使用
应用管理器：
管理集群上运行任务生命周期的应用管理器
容器 （每个容器都有特定的内存上限），在这些容器上运行特定的应用程序的进程。容器由集群节点上运行的加点监视器（nodeManage）监视。
事实上，MapReduce 只是 YARN 应用的一种形式、YARN 应用可以在一个集群上共存。 例如一个 MR 应用可以同时作为 MPI 应用运行。大大提高了可管理性和集群利用率。
MPI 通信协议。的目标是高性能，大规模性，和可移植性。
YARN 上的 MR 比经典的 MR 包括更多的实体：
YARN 运行 MapReduce 的过程
加入了 master、优化了失败标记、
MR2 状态更新传播
早期 Hadoop 使用先进先出调度算法运行作业
不久后增加了优先级、 跟 dota 一样 VERY_HIGH、HIGH、NORMAL、LOW、VERY_LOW。 作业调度选择优先级时，选择最高的作业。 FIFO 调度算法中，优先级并不支持抢占，所以高优先级作业仍然受阻于之前已经开始的作业、长时间运行的地优先级作业。
1 公平调度器
共享集群能力。 作业都放在作业池中，并不会因为某个作业数较多的用户得到更多的集群资源。 可以用 map 和 reduce 的任务槽数来定制作业池的最小容量，也可以设置每个池的权重。
支持抢占机制，如果一个池在特定的一段时间未能公平共享资源，就会终止运行池中获得更多资源的任务，吧空出来的槽位让给运行资源不足的作业池。
2 容量调度器
更细粒度控制）
Map 处理
在将 压缩 map 输出写到磁盘的过程中对他进行压缩往往是个好主意。默认不压缩。
Reduce 处理
使用了压缩的map输出 都必须在内存中被解压缩。 复制完所有的map 任务后。 这个阶段将合并 map 输出（排序 map 已经做完 ）
输入分片与 HDFS 块之间的关系
一个文件被分成5行，行的边界与 HDFS 块边界没有对齐。 分片边界与逻辑边界（行边界）的边界对齐，所以第一个分片包含前 5行，及时第五行垮了第一块 和第二块。第二个分片 从第六行开始。
MultipleOutputs 的 write 方法可以指定基本路径相对于输出路径进行解释，因为他可以包含文件路径分隔符（/），所以可以创建任意深度的路径。
延迟输出
FileOutputFormat 的子类会产生输出文件，及时文件是空的。 因此 LazyOutputFormat 出现了。他可以保证指定分区第一条记录输出时才真正创建文件。 要使用它， 用 JobConf 和 相关的输出格式作为参数来调用
set OutputFormatClass() 方法即可。
MR 高级特性
Hadoop 为每个作业维护若干内置计数器。
边数据分布
“边数据”（side data） 是作业所需的额外的只读数据，以辅助处理主数据集。在于如何使所有 map or reduce 任务都能方便高效的使用边数据。
1 在作业配置中 （JobConf ） 序列化边数据。 耗费内存 浪费时间
2 分布式缓存，
God has given me a gift. Only one. I am the most complete fighter in the world. My whole life, I have trained. I must prove I am worthy of someting. rocky_24
