flink 1.9.2版本搭建的HA JM存在bug:
明明在node01, node02两个节点上都有JM,但是孰是activing,孰是standby状态无法区分。Spark是有明确的状态显示的。

单独启动JM或TM

分别单独执行jobmanager.sh taskmanager.sh即可:
flink HA高可用Standalone集群搭建_其他

集群角色划分说明

flink HA高可用Standalone集群搭建_hdfs_02

高可用实现步骤

flink HA高可用Standalone集群搭建_其他_03
flink HA高可用Standalone集群搭建_flink_04

flink HA高可用Standalone集群搭建_hdfs_05
HDFS用于保存JM的元数据信息,flink最擅长的是进行有状态的计算,因此也就需要对大量数据进行存储:
flink HA高可用Standalone集群搭建_flink_06

flink HA高可用Standalone集群搭建_数据保存_07
vim masters
将所有的JM都加进来:
flink HA高可用Standalone集群搭建_数据保存_08
要将修改后的配置文件同步到其他节点:
flink HA高可用Standalone集群搭建_其他_09
flink HA高可用Standalone集群搭建_flink_10

启动HA集群

要先启动HDFS和zk。

要想将flink数据保存到hdfs,必须先下载这个插件:并将其放到flinklib目录下。每个节点都要放。
flink HA高可用Standalone集群搭建_flink_11
flink HA高可用Standalone集群搭建_数据保存_12

启动

flink HA高可用Standalone集群搭建_flink_13
flink HA高可用Standalone集群搭建_其他_14
flink HA高可用Standalone集群搭建_hdfs_15