resourcemanager存储状态信息的是 resourcemanager功能

转载

数据解码者 2024-04-05 09:46:54

文章标签 ide Web 客户端 文章分类 机器学习人工智能

概述
体系结构

RM故障转移
恢复之前的活动RM状态

部署

配置
管理命令
ResourceManager Web UI服务
Web 服务
Load Balancer

概述

YARN的资源管理器支持高可用

体系结构

RM故障转移

RM HA是主从结构，任何时候只有一个主，多个从。转移通过admin客户端或者集成的故障转移控制器自动故障转移。
手动事务和故障转移
没有配置自动故障转移的情况下，管理员可以手动的进行故障转移，使用yarn rmadmin
自动故障转移
RM可以通过参数继承zookeeper的主从选举器来决定性的主。当主下线或者无法响应，另外一个RM就会自动被选举成为新的主。这里不需要单独的运行ZKFC(比如HDFS)，因为选举器已经被嵌入在了RM中。
客户端，AM，NM的RM故障转移
当有多个RM，客户端和node被列在所有的RM中。客户端，AM，NM以轮训的方式尝试连接到一个活动的RM。如果活动的RM下线，它们会恢复轮训机制直到一个新的活动RM出现。轮训机制通过
yarn.client.failover-proxy-provider配置。

恢复之前的活动RM状态

如果配置了ResourceManager重启，RM可以加载RM内部状态并且恢复之前的执行推进到活动状态。为每个之前提交到RM的管理应用创建一个重试。应用可以定期的checkpoint避免丢失工作。状态存储必须对主从RM都可见。目前有2种RMStateStore：
1.永久的FileSystemRMStateStore
2.ZKRMStateStore.
ZKRMStateStore同时只能由一个用户写入。当使用ZKRMStateStore时不需要在为脑裂问题才用其他的保护机制。当使用ZKRMStateStore，最好关闭zookeeper.DigestAuthenticationProvider.superDigest，防止zookeeper管理员读取到YARN应用或者用户的凭据信息。

部署

配置

属性	值
hadoop.zk.address	ZK地址
yarn.resourcemanager.ha.enabled	是否启动RMHA
yarn.resourcemanager.ha.rm-ids	RM列表啊如rm1,rm2
yarn.resourcemanager.hostname.rm-id	rm-id的主机名
yarn.resourcemanager.address.rm-id	rm-id的地址
yarn.resourcemanager.scheduler.address.rm-id	rm-id的调度器地址
yarn.resourcemanager.resource-tracker.address.rm-id	NodeManager的地址
yarn.resourcemanager.admin.address.rm-id	管理性命令的地址
yarn.resourcemanager.webapp.address.rm-id	RM web应用的地址
yarn.resourcemanager.webapp.https.address.rm-id	RM https用的地址
yarn.resourcemanager.ha.id	ha编号
yarn.resourcemanager.ha.automatic-failover.enabled	是否启动自动故障转移
yarn.resourcemanager.ha.automatic-failover.embedded	ZK选举器
yarn.resourcemanager.cluster-id	集群id
yarn.client.failover-proxy-provider	轮训策略的类名
yarn.client.failover-max-attempts	FailoverProxyProvider最大轮训次数
yarn.client.failover-sleep-base-ms	故障转移间基本sleep时间
yarn.client.failover-sleep-max-ms	故障转移间最大的sleep时间
yarn.client.failover-retries	尝试连接到RM的次数
yarn.client.failover-retries-on-socket-timeouts	尝试连接到RM套接字超时次数

<property>
  <name>yarn.resourcemanager.ha.enabled</name>
  <value>true</value>
</property>
<property>
  <name>yarn.resourcemanager.cluster-id</name>
  <value>cluster1</value>
</property>
<property>
  <name>yarn.resourcemanager.ha.rm-ids</name>
  <value>rm1,rm2</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm1</name>
  <value>master1</value>
</property>
<property>
  <name>yarn.resourcemanager.hostname.rm2</name>
  <value>master2</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm1</name>
  <value>master1:8088</value>
</property>
<property>
  <name>yarn.resourcemanager.webapp.address.rm2</name>
  <value>master2:8088</value>
</property>
<property>
  <name>hadoop.zk.address</name>
  <value>zk1:2181,zk2:2181,zk3:2181</value>
</property>

管理命令

使用yarn rmadmin查看状态，比如

$ yarn rmadmin -getServiceState rm1
active

$ yarn rmadmin -getServiceState rm2
standby

通过以下命令转移：

$ yarn rmadmin -transitionToStandby rm1
 Automatic failover is enabled for org.apache.hadoop.yarn.client.RMHAServiceTarget@1d8299fd
 Refusing to manually manage HA state, since it may cause
 a split-brain scenario or other incorrect state.
 If you are very sure you know what you are doing, please
 specify the forcemanual flag.