目录
一、yarn基本结构
1.YARN(Yet Another Resource Negotiator)核心思想：是将资源管理和任务的监控和调度分离
2.YARN的基本架构核心组件
三、YARN的工作机制
四、yarn应用
五.补充：
六、Zookeeper
1.简介：
2.Zookeeper数据结构
3.ZooKeeper客户端命令
4.Zookeeper角色
5.ZooKeeper选举机制
6.总结：
一、yarn基本结构
1.YARN(Yet Another Resource Negotiator)核心思想：是将资源管理和任务的监控和调度分离
（1）通用的资源管理系统，可为不同的应用（MapReduce、Spark、Flink等）提供统一的资源管理和调度
（2）它的引入为集群在利用率、资源统一管理和数据共享等方面带来了巨大好处
2.YARN的基本架构核心组件
（1）YARN的架构是master/slaves的主从架构
master: ResourceManager-> 全局资源管理， 负责集群全局统一的资源管理、调度、分配
slave: NodeManager-> 节点资源管理器， 启动了NodeManager进程的节点， 负责管理节点的资源及使用情况
（2）YARN核心组件（包含ResourceManager和NodeManager） ApplicationMaster（ApplicationManager任命）
Container
3. YARN架构核心组件- ResouceManager
ResourceManager组成
ResourceScheduler-> 资源调度器，根据节点的容量、队列情况，为应用程序分配资源
Application Manager-> 应用程序管理器，负责接受Client端传输的job请求
ResourceManager功能
处理客户端请求
监控NodeManager
启动和监控ApplicationMaster，进行必要的重启
整个系统的资源分配和调度
4.YARN架构核心组件- NodeManager
NodeManager功能:
本节点上的资源管理和任务管理 定时向ResourceManager汇报本节点上的资源使用情况和各个Container的运行情况
接收和处理来自ResourceManager的Container启动和停止的各种命令
处理来自ApplicationMaster的指令,比如启动MapTask和ReduceTask指令
5.YARN架构核心组件- ApplicationMaster
ApplicationMaster功能
每个应用程序对应一个ApplicationMaster，负责单个应用程序的管理
负责数据切分
为应用程序向ResourceManager申请资源(Container)，并分配内部任务（MapTask和ReduceTask)
与NodeManager通信来启动/停止任务，Task都是运行在Container中的
负责任务的监控和容错，当某些Task运行出错，进行容错处理
6.ARN架构核心组件- Container
Container是YARN中的资源抽象，封装了某个节点上的多维度资源，如内存、CPU、磁盘、网络等，Container类似于一个虚拟机，可以在上面执行任务
三、YARN的工作机制
四、yarn应用
1.Yarn上提交MapReduce程序
hadoop jar jar名 wordcount hdfs输入路径 hdfs输出路径
2.启动jobHistoryServer
mr-jobhistory-daemon.sh start historyserver
3.目前Hadoop作业调度器有三种
FIFO：先进先出调度器
Capacity Scheduler：容量调度器
Fair Scheduler：公平调度器
默认的作业调度器可以在yarn-default.xml文件中查看，属性如下 :yarn.resourcemanager.scheduler.class Hadoop版本2.6.0-cdh5.14.2的默认调度器是公平调度器
五.补充：
任务管理查看正在运行的任务
yarn application -list 杀掉正在运行的任务
yarn application -kill 任务id 节点管理 查看节点列表
yarn node -list 查看节点状态
yarn node -status 节点ID
六、Zookeeper
1.简介：
Zookeeper是一个开源的分布式的，为分布式应用提供协调服务的Apache项目
Zookeeper=文件系统+通知机制
Zookeeper从设计模式上来看是一个基于观察者模式设计的分布式服务管理框架，它负责存储和管理大家都关心的数据，然后接受观察者的注册。
一旦数据的状态发生变化，Zookeeper就将负责通知已经在Zookeeper上注册的那些观察者做出相应的反应，从而实现集群中类似Master/Slave管理模式
2.Zookeeper数据结构
znode
ZooKeeper数据模型的结构与Linux文件系统很像，整体上可以看作是一棵树，树的每个节点称做一个znode。每一个znode默认能够存储1MB的数据，每个znode都可以通过其路径唯一标识
节点类型
PERSISTENT：持久化节点，默认类型
PERSISTENT_SEQUENTIAL：持久化顺序编号节点
EPHEMERAL：临时节点
EPHEMERAL_SEQUENTIAL：临时顺序编号节点
3.ZooKeeper客户端命令
命令基本语法 | 命令功能描述 |
help | 显示所有操作命令 |
ls path | 使用 ls 命令查看当前 znode 中所包含的内容 |
ls2 | 查看当前节点数据并能看到更新次数等数据 |
create | 创建节点，默认是持久化节点 create -s ：创建带序列的节点 create -e ：创建临时节点 |
get path | 获取节点的值 |
set | 设置节点的具体值 |
stat | 查看节点状态 |
delete | 删除节点 |
rmr | 递归删除节点 |
4.Zookeeper角色
Leader（领导者）：负责进行投票的发起和决议，更新系统状态
Follower（跟随者）： 用于接收客户端请求并向客户端返回结果，在选主过程中参与投票 Observer（观察者）： 可以接收客户端连接，将写请求转发给Leader节点。但Observer不参加投票过程，只同步Leader状态。Observer的目的是为了扩展系统，提高读取速度。
5.ZooKeeper选举机制
半数机制
集群中半数以上机器存活，集群可用 ZooKeeper工作时，有一个节点为Leader，其他为Follower，Leader是通过内部选举机制临时产生的 Leader选举是保证分布式数据一致性的关键所在
leader选举触发时机
服务器初始化启动 服务器运行期间无法和Leader保持连接
6.总结：
ZooKeeper集群中超过半数机器存活，就可提供服务
ZooKeeper是树形结构，每个节点都能存储数据
ZooKeeper中节点有Leader和Follower之分
