Hadoop YARN配置多个队列

1. 简介

在Hadoop YARN中，队列是资源调度的基本单位。通过配置多个队列，可以实现对不同应用或不同用户的资源分配和管理。本文将介绍如何在Hadoop YARN中配置多个队列。

2. 配置流程

下面是配置多个队列的基本流程：

步骤 操作
步骤一 修改yarn-site.xml配置文件
步骤二 创建capacity-scheduler.xml配置文件
步骤三 重启YARN服务

3. 操作步骤

步骤一：修改yarn-site.xml配置文件

打开yarn-site.xml文件，添加以下代码：

<property>
  <name>yarn.scheduler.capacity.root.queues</name>
  <value>队列1,队列2,...</value>
  <description>配置根队列的子队列列表</description>
</property>
<property>
  <name>yarn.scheduler.capacity.root.队列1.capacity</name>
  <value>50</value>
  <description>配置队列1的容量百分比，如50表示50%</description>
</property>
<property>
  <name>yarn.scheduler.capacity.root.队列2.capacity</name>
  <value>50</value>
  <description>配置队列2的容量百分比，如50表示50%</description>
</property>

这里的队列1和队列2是示例队列名称，可以根据实际需求进行命名。capacity属性用于配置每个队列的容量百分比。

步骤二：创建capacity-scheduler.xml配置文件

在Hadoop YARN的配置目录中创建capacity-scheduler.xml文件，并添加以下代码：

<configuration>
  <queue name="队列1">
    <minResources>100mb,1vcore</minResources>
    <maxResources>500mb,5vcores</maxResources>
    <weight>1.0</weight>
  </queue>
  <queue name="队列2">
    <minResources>100mb,1vcore</minResources>
    <maxResources>500mb,5vcores</maxResources>
    <weight>1.0</weight>
  </queue>
</configuration>

这里的队列1和队列2需要与yarn-site.xml中的配置一致。minResources和maxResources属性用于配置每个队列的最小和最大资源限制，weight属性用于配置每个队列的权重。

步骤三：重启YARN服务

完成以上配置后，需要重启YARN服务以使配置生效。

4. 代码注释

下面是上述代码的注释说明：

<!-- yarn-site.xml -->
<property>
  <name>yarn.scheduler.capacity.root.queues</name>
  <value>队列1,队列2,...</value>
  <description>配置根队列的子队列列表</description>
</property>
<!-- 配置队列1的容量百分比，如50表示50% -->
<property>
  <name>yarn.scheduler.capacity.root.队列1.capacity</name>
  <value>50</value>
  <description>配置队列1的容量百分比，如50表示50%</description>
</property>
<!-- 配置队列2的容量百分比，如50表示50% -->
<property>
  <name>yarn.scheduler.capacity.root.队列2.capacity</name>
  <value>50</value>
  <description>配置队列2的容量百分比，如50表示50%</description>
</property>

<!-- capacity-scheduler.xml -->
<configuration>
  <!-- 队列1配置 -->
  <queue name="队列1">
    <!-- 队列1的最小资源限制 -->
    <minResources>100mb,1vcore</minResources>
    <!-- 队列1的最大资源限制 -->
    <maxResources>500mb,5vcores</maxResources>
    <!-- 队列1的权重 -->
    <weight>1.0</weight>
  </queue>
  <!-- 队列2配置 -->
  <queue name="队列2">
    <!-- 队列2的最小资源限制 -->
    <minResources>100mb,1vcore</minResources>
    <!-- 队列2的最大资源限制 -->
    <maxResources>500mb,5vcores</maxResources>
    <!-- 队列2的权重 -->
    <weight>1.0</weight