yarn动态资源池和队列分别如何配置

原创

mob649e81553a70 2023-07-18 10:15:30 ©著作权

©著作权归作者所有：来自51CTO博客作者mob649e81553a70的原创作品，请联系作者获取转载授权，否则将追究法律责任

Yarn动态资源池和队列配置

在Hadoop生态系统中，Yarn是一个负责资源管理和作业调度的集群管理框架。Yarn的动态资源池和队列功能可以帮助我们更有效地管理集群资源，并在不同的应用程序之间进行资源隔离和优先级调度。本文将介绍如何配置Yarn的动态资源池和队列。

1. 动态资源池配置

动态资源池的作用是将集群资源划分为不同的池子，每个池子可以有不同的资源配额，这些资源配额可以根据需求进行动态调整。下面是一个动态资源池的配置示例：

<!-- 配置动态资源池 -->
<property>
  <name>yarn.scheduler.capacity.root.queues</name>
  <value>default, pool1, pool2</value>
</property>
<property>
  <name>yarn.scheduler.capacity.root.default.capacity</name>
  <value>50</value>
</property>
<property>
  <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
  <value>100</value>
</property>
<property>
  <name>yarn.scheduler.capacity.root.pool1.capacity</name>
  <value>30</value>
</property>
<property>
  <name>yarn.scheduler.capacity.root.pool1.maximum-capacity</name>
  <value>50</value>
</property>
<property>
  <name>yarn.scheduler.capacity.root.pool2.capacity</name>
  <value>20</value>
</property>
<property>
  <name>yarn.scheduler.capacity.root.pool2.maximum-capacity</name>
  <value>30</value>
</property>

上述配置定义了三个动态资源池：default、pool1和pool2。default池的资源配额为50%（capacity），最大资源配额为100%（maximum-capacity）。pool1池的资源配额为30%，最大资源配额为50%。pool2池的资源配额为20%，最大资源配额为30%。

2. 队列配置

队列的作用是限制每个应用程序使用的资源量，并根据优先级进行调度。下面是一个队列的配置示例：

<!-- 配置队列 -->
<property>
  <name>yarn.scheduler.capacity.root.default.default-node-label-expression</name>
  <value>pool1</value>
</property>
<property>
  <name>yarn.scheduler.capacity.root.default.accessible-node-labels</name>
  <value>pool1</value>
</property>
<property>
  <name>yarn.scheduler.capacity.root.pool1.default-node-label-expression</name>
  <value>pool1</value>
</property>
<property>
  <name>yarn.scheduler.capacity.root.pool1.accessible-node-labels</name>
  <value>pool1</value>
</property>

上述配置将default队列和pool1队列绑定到pool1标签。这意味着只有具有pool1标签的节点可以为这两个队列提供资源。这样可以实现资源隔离和优先级调度。

3. 配置文件说明

上述配置示例中使用的配置文件是yarn-site.xml。以下是一些常用的配置属性说明：

yarn.scheduler.capacity.root.queues：定义动态资源池的队列列表。
yarn.scheduler.capacity.root.<queue-name>.capacity：定义队列的资源配额（百分比）。
yarn.scheduler.capacity.root.<queue-name>.maximum-capacity：定义队列的最大资源配额（百分比）。
yarn.scheduler.capacity.root.<queue-name>.default-node-label-expression：定义队列的默认节点标签表达式。
yarn.scheduler.capacity.root.<queue-name>.accessible-node-labels：定义队列可以访问的节点标签。