如何实现“Flink本地提交到远程Yarn Session模式”
流程图
erDiagram
PARTICIPANT["本地Flink环境"] as A
PARTICIPANT["远程Yarn环境"] as B
A -- 启动 --> B
步骤
步骤 | 描述 |
---|---|
1 | 在本地Flink环境中配置好Flink集群和Yarn集群的连接信息 |
2 | 启动Flink集群 |
3 | 将任务提交到远程Yarn上运行 |
详细步骤
-
配置Flink集群和Yarn集群的连接信息
```bash vi flink-conf.yaml
env.java.home: /usr/java/jdk1.8.0_211 yarn.application.name: wordcount
-
启动Flink集群
```bash ./start-cluster.sh
-
提交任务到远程Yarn上
```bash ./bin/flink run -m yarn-cluster -yn 2 -ytm 2048 -yjm 1024 -yt 1 -n 2 ./examples/batch/WordCount.jar --input ./README.txt --output ./result.txt
序列图
sequenceDiagram
participant 开发者
participant 本地Flink环境
participant 远程Yarn环境
开发者 ->> 本地Flink环境: 配置连接信息
开发者 ->> 本地Flink环境: 启动Flink集群
开发者 ->> 远程Yarn环境: 提交任务
通过以上步骤,你就可以成功实现“Flink本地提交到远程Yarn Session模式”了。希望对你有所帮助!