spark yarn 架构 spark on yarn属于哪种架构

转载

互联网小墨风 2023-08-30 14:19:57

文章标签 spark yarn 架构 spark yarn client cluster 文章分类 Spark 大数据

YARN是一种统一资源管理机制，在其上面可以运行多套计算框架。目前的大数据技术世界，大多数公司除了使用Spark来进行数据计算，由于历史原因或者单方面业务处理的性能考虑而使用着其他的计算框架，比如MapReduce、Storm等计算框架。Spark基于此种情况开发了Spark on YARN的运行模式，由于借助了YARN良好的弹性资源管理机制，不仅部署Application更加方便，而且用户在YARN集群中运行的服务和Application的资源也完全隔离，更具实践应用价值的是YARN可以通过队列的方式，管理同时运行在集群中的多个服务。在介绍spark on yarn前，需先了解yarn的工作原理和调度机制，方便后续的理解和消化。

YARN 概述

YARN 是一个资源调度平台，负责为运算程序提供服务器运算资源，相当于一个分布式的操作系统平台，而 MapReduce 等运算程序则相当于运行于操作系统之上的应用程序

　　YARN 是 Hadoop2.x 版本中的一个新特性。它的出现其实是为了解决第一代 MapReduce 编程框架的不足，提高集群环境下的资源利用率，这些资源包括内存，磁盘，网络，IO等。Hadoop2.X 版本中重新设计的这个 YARN 集群，具有更好的扩展性，可用性，可靠性，向后兼容性，以及能支持除 MapReduce 以外的更多分布式计算程序。

YARN 并不清楚用户提交的程序的运行机制，YARN 只提供运算资源的调度（用户程序向 YARN 申请资源，YARN 就负责分配资源），YARN 中的主管角色叫 ResourceManager，YARN 中具体提供运算资源的角色叫 NodeManager。YARN 其实就与运行的用户程序完全解耦，就意味着 YARN 上可以运行各种类型的分布式运算程序（MapReduce 只是其中的一种），比如 MapReduce、Storm 程序，Spark 程序等。所以，Spark、Storm 等运算框架都可以整合在 YARN 上运行，只要他们各自的框架中有符合 YARN 规范的资源请求机制即可。yarn 作为一个通用的资源调度平台，企业中以前存在的各种运算集群都可以整合在一个物理集群上，提高资源利用率，方便数据共享。

YARN 架构的优点

yarn是为解决MapReduce的缺点（如：单点故障，扩展性差，过多的资源消耗，OOM，资源利用不均等）而诞生，YARN/MRv2 最基本的想法是将原 JobTracker 主要的资源管理和 Job 调度/监视功能分开作为两个单独的守护进程。有一个全局的 ResourceManager(RM)和每个 Application 有一个 ApplicationMaster(AM)，Application 相当于 MapReduce Job 或者 DAG jobs。ResourceManager 和 NodeManager(NM)组成了基本的数据计算框架。ResourceManager 协调集群的资源利用，任何 Client 或者运行着的 applicatitonMaster 想要运行 Job 或者 Task 都得向 RM 申请一定的资源。ApplicatonMaster 是一个框架特殊的库，对于 MapReduce 框架而言有它自己的 AM 实现，用户也可以实现自己的 AM，在运行的时候，AM 会与 NM 一起来启动和监视 Tasks。

YARN 作业流程

1、用户向 YARN 中提交应用程序，其中包括 MRAppMaster 程序，启动 MRAppMaster 的命令，用户程序等。

　　2、ResourceManager 为该程序分配第一个 Container，并与对应的 NodeManager 通讯，要求它在这个 Container 中启动应用程序 MRAppMaster。

　 3、MRAppMaster 首先向 ResourceManager 注册，这样用户可以直接通过 ResourceManager 查看应用程序的运行状态，然后将为各个任务申请资源，并监控它的运行状态，直到运行结束，重复 4 到 7 的步骤。

　　4、MRAppMaster 采用轮询的方式通过 RPC 协议向 ResourceManager 申请和领取资源。

　　5、一旦 MRAppMaster 申请到资源后，便与对应的 NodeManager 通讯，要求它启动任务。

　　6、NodeManager 为任务设置好运行环境（包括环境变量、JAR 包、二进制程序等）后，将任务启动命令写到一个脚本中，并通过运行该脚本启动任务。

　　7、各个任务通过某个 RPC 协议向 MRAppMaster 汇报自己的状态和进度，以让 MRAppMaster 随时掌握各个任务的运行状态，从而可以在任务败的时候重新启动任务。

　　8、应用程序运行完成后，MRAppMaster 向 ResourceManager 注销并关闭自己。

Spark on YARN运行过程

Spark on YARN模式根据Driver在集群中的位置分为两种模式：一种是YARN-Client模式，另一种是YARN-Cluster（或称为YARN-Standalone模式）。

YARN-Client

Spark Yarn Client向YARN的ResourceManager申请启动Application Master。同时在SparkContent初始化中将创建DAGScheduler和TASKScheduler等，由于我们选择的是Yarn-Client模式，程序会选择YarnClientClusterScheduler和YarnClientSchedulerBackend；

ResourceManager收到请求后，在集群中选择一个NodeManager，为该应用程序分配第一个Container，要求它在这个Container中启动应用程序的ApplicationMaster，与YARN-Cluster区别的是该ApplicationMaster不运行SparkContext，只与SparkContext进行联系进行资源的分派；

Client中的SparkContext初始化完毕后，与ApplicationMaster建立通讯，向ResourceManager注册，根据任务信息向ResourceManager申请资源（Container）；

一旦ApplicationMaster申请到资源（也就是Container）后，便与对应的NodeManager通信，要求它在获得的Container中启动启动Executor，Executor启动后会向Client中的SparkContext注册并申请Task；

Client中的SparkContext分配Task给Executor执行，Executor运行Task并向Driver汇报运行的状态和进度，以让Client随时掌握各个任务的运行状态，从而可以在任务失败时重新启动任务；

spark yarn 架构 spark on yarn属于哪种架构_cluster

在此附上spark on Standalone流程图，作为对比，可以看出spark on yarn 的优势和特点：

spark yarn 架构 spark on yarn属于哪种架构_spark yarn 架构_02

YARN-Cluster

yarn-cluster是基于yarn集群，yarn集群上有ResourceManager（RM）和NodeManager（NM）。具体流程如下：

（1）客户端提交Application到RM，这个过程做的工作有判断集群资源是否满足需求、读取配置文件、设置环境变量、设置Application名字等等；

（2）RM在某一台NodeManager上启动Application Master，AM所在的机器是YARN分配的；

（3）AM初始化SparkContext，开始驱动程序，这个NodeManager便是Driver；

（4）AM向ResourceManager申请资源，并在每台NodeManager上启动相应的executors；

（5）初始化后的SparkContext中的通信模块可以通过AKKA与NodeManager上的容器进行通信。

Application Master所在的NodeManager是Yarn随机分配的，不是在主节点上。executor的容器和AM容器是可以共存的，它们的封装都是容器； AM是Yarn启动的第一个容器； AM所在的NodeManager就是平常说的Driver端，因为这个AM启动了SparkContext。在Application提交到RM上之后，Client就可以关闭了，集群会继续运行提交的程序，在实际使用时，有时候会看到这样一种现象，关闭Client会导致程序终止，其实这个Application还没有提交上去，关闭Client打断了提交的过程，Application当然不会运行。

还是附图更容易加深理解：

spark yarn 架构 spark on yarn属于哪种架构_yarn_03