无论以什么样的模式提交Application到Yarn中运行,都会启动一个yarn-session(Flink 集群),依然是由JobManager和TaskManager组成,那么JobManager节点如果宕机,那么整个Flink集群就不会正常运转,所以接下来搭建Flink on YARN HA集群
安装步骤
hadoop/yarn-site.xml
<property>
<name>yarn.resourcemanager.am.max-attempts</name>
<value>10</value>
<description> The maximum number of application master execution attempts AppMaster最大 重试次数 </description>
</property>
分发至其他节点:并重启
flink/flink-conf.yaml
HA测试
Application Master就是Job Manager。
在node02上kill掉JM进程后,发现JM又会在node04上重启,已经实现了HA:
查看node04的日志:
提交一个flink job: