无论以什么样的模式提交Application到Yarn中运行,都会启动一个yarn-session(Flink 集群),依然是由JobManager和TaskManager组成,那么JobManager节点如果宕机,那么整个Flink集群就不会正常运转,所以接下来搭建Flink on YARN HA集群

安装步骤

hadoop/yarn-site.xml

flink on yarn HA高可用集群搭建_重启

flink on yarn HA高可用集群搭建_xml_02

<property> 
<name>yarn.resourcemanager.am.max-attempts</name>
<value>10</value>
<description> The maximum number of application master execution attempts AppMaster最大 重试次数 </description>
</property>

分发至其他节点:并重启

flink on yarn HA高可用集群搭建_xml_03

flink on yarn HA高可用集群搭建_重启_04

flink/flink-conf.yaml

flink on yarn HA高可用集群搭建_flink_05

flink on yarn HA高可用集群搭建_flink_06

HA测试

Application Master就是Job Manager。

在node02上kill掉JM进程后,发现JM又会在node04上重启,已经实现了HA:

flink on yarn HA高可用集群搭建_重启_07

flink on yarn HA高可用集群搭建_flink_08

查看node04的日志:

flink on yarn HA高可用集群搭建_重启_09

提交一个flink job:

flink on yarn HA高可用集群搭建_flink_10