Yarn多队列的好处

1. 流程

下面是实现“yarn多队列”的流程表格:

步骤 内容
1 配置yarn-site.xml文件
2 添加队列配置
3 重启Yarn服务

2. 代码实现

1. 配置yarn-site.xml文件

打开yarn-site.xml文件,添加以下配置:

<property>
  <name>yarn.resourcemanager.scheduler.class</name><!--设置为对应的调度器类-->
  <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>

2. 添加队列配置

在capacity-scheduler.xml文件中添加队列配置,例如:

<property>
  <name>yarn.scheduler.capacity.root.queues</name><!-- 设置队列数量 -->
  <value>2</value>
</property>
<property>
  <name>yarn.scheduler.capacity.root.queue-default-state</name>
  <value>RUNNING</value>
</property>
<property>
  <name>yarn.scheduler.capacity.root.queues.queue-name</name>
  <value>queue1</value><!-- 设置队列名称 -->
</property>
<property>
  <name>yarn.scheduler.capacity.root.queues.queue-name.default.capacity</name>
  <value>80</value>
</property>
<property>
  <name>yarn.scheduler.capacity.root.queues.queue-name.max_capacity</name>
  <value>100</value>
</property>
<property>
  <name>yarn.scheduler.capacity.root.queues.queue-name.state</name>
  <value>RUNNING</value>
</property>

3. 重启Yarn服务

重启Yarn服务使配置生效。

3. 序列图

sequenceDiagram
  小白->>配置yarn-site.xml文件: 打开文件
  小白->>配置yarn-site.xml文件: 添加配置
  小白->>capacity-scheduler.xml文件: 打开文件
  小白->>capacity-scheduler.xml文件: 添加队列配置
  小白->>重启Yarn服务: 使配置生效

4. 关系图

erDiagram
  QUEUE ||--o{ CAPACITY

通过以上步骤,你可以成功实现“yarn多队列”的配置,从而更好地管理和利用集群资源。希望对你有所帮助!