Yarn多队列的好处
1. 流程
下面是实现“yarn多队列”的流程表格:
步骤 | 内容 |
---|---|
1 | 配置yarn-site.xml文件 |
2 | 添加队列配置 |
3 | 重启Yarn服务 |
2. 代码实现
1. 配置yarn-site.xml文件
打开yarn-site.xml文件,添加以下配置:
<property>
<name>yarn.resourcemanager.scheduler.class</name><!--设置为对应的调度器类-->
<value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
</property>
2. 添加队列配置
在capacity-scheduler.xml文件中添加队列配置,例如:
<property>
<name>yarn.scheduler.capacity.root.queues</name><!-- 设置队列数量 -->
<value>2</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.queue-default-state</name>
<value>RUNNING</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.queues.queue-name</name>
<value>queue1</value><!-- 设置队列名称 -->
</property>
<property>
<name>yarn.scheduler.capacity.root.queues.queue-name.default.capacity</name>
<value>80</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.queues.queue-name.max_capacity</name>
<value>100</value>
</property>
<property>
<name>yarn.scheduler.capacity.root.queues.queue-name.state</name>
<value>RUNNING</value>
</property>
3. 重启Yarn服务
重启Yarn服务使配置生效。
3. 序列图
sequenceDiagram
小白->>配置yarn-site.xml文件: 打开文件
小白->>配置yarn-site.xml文件: 添加配置
小白->>capacity-scheduler.xml文件: 打开文件
小白->>capacity-scheduler.xml文件: 添加队列配置
小白->>重启Yarn服务: 使配置生效
4. 关系图
erDiagram
QUEUE ||--o{ CAPACITY
通过以上步骤,你可以成功实现“yarn多队列”的配置,从而更好地管理和利用集群资源。希望对你有所帮助!