提到Hadoop大家最先想到的就是MapReduce(运算程序)和HDFS(文件管理系统),其实Hadoop还有一个极为重要的组件Yarn。
首先我们先看一下Yarn的基本结构图:
从图中看到Yarn的基本结构由:ResourceManager、NodeManager、AppMstr和Container四个组件组成。
Container
Container(容器)这个东西是Yarn对资源做的一层抽象。就像是我们平时对经常用的一些东西进行封装一样,只需要提供一个调用的接口,Yarn对资源的管理也应用到了这种思想。Yarn将CPU的核数和内存等计算资源封装成为一个个的Container。
注意:1、Container由NodeManager启动和管理,并被它所监控。
2、Container被ResourceManager进行调度。
三个重要组件之ResourceManager
我们先来说说上图中最中央的那个 ResourceManager(RM)。从名字上我们就能知道这个组件是负责资源管理的,整个系统有且只有一个 RM ,来负责资源的调度。它也包含了两个主要的组件:定时调用器(Scheduler)以及应用管理器(ApplicationManager)。
1、定时调度器(Scheduler):从本质上来说,定时调度器就是一种策略,或者说一种算法。当 Client 提交一个任务的时候,它会根据所需要的资源以及当前集群的资源状况进行分配。注意,它只负责向应用程序分配资源,并不做监控以及应用程序的状态跟踪。
2、应用管理器(ApplicationManager):同样,听名字就能大概知道它是干嘛的。应用管理器就是负责管理 Client 用户提交的应用。上面不是说到定时调度器(Scheduler)不对用户提交的程序监控嘛,其实啊,监控应用的工作正是由应用管理器(ApplicationManager)完成的。
三个重要组件之ApplicationMaster
每当 Client 提交一个 Application 时候,就会新建一个 ApplicationMaster 。由这个 ApplicationMaster 去与 ResourceManager 申请容器资源,获得资源后会将要运行的程序发送到容器上启动,然后进行分布式计算。
为什么是在获取资源之后要将运行的程序发送到容器上运行呢?按照正常的思路是将数据送到运算程序中去进行运算,就像是流水线一样进出。但是当数据量特别大了之后就不太适用了,因为这样移动数据的成本太大、消耗的时间太长。所以改为了数据不动,等着运算程序过去处理。这就是大数据分布式计算的思路。
三个重要组件之NodeManager
NodeManager 是 ResourceManager 在每台机器的上代理,负责容器的管理,并监控他们的资源使用情况(cpu,内存,磁盘及网络等),以及向 ResourceManager/Scheduler 提供这些资源使用报告。