Flink on Yarn启动Session指定队列教程
一、整体流程
下面是启动Flink on Yarn Session并指定队列的步骤:
步骤 | 描述 |
---|---|
1 | 准备Flink程序jar包和配置文件 |
2 | 启动Yarn集群 |
3 | 提交Flink on Yarn Session |
二、步骤说明
步骤一:准备Flink程序jar包和配置文件
首先,你需要将你的Flink程序打包成一个jar包,同时准备好配置文件 flink-conf.yaml
。确保配置文件中包含以下内容:
yarn.application.name: flink-session
yarn.queue: your_queue_name
步骤二:启动Yarn集群
如果你还没有启动Yarn集群,可以按照以下步骤启动:
- 启动HDFS:
start-dfs.sh
- 启动Yarn:
start-yarn.sh
步骤三:提交Flink on Yarn Session
最后,使用以下命令提交Flink on Yarn Session:
./bin/yarn-session.sh -n 2 -jm 1024m -tm 1024m -qu your_queue_name -s
其中,参数解释如下:
-n 2
: 指定TaskManager的数量为2-jm 1024m
: 指定JobManager的内存为1024MB-tm 1024m
: 指定TaskManager的内存为1024MB-qu your_queue_name
: 指定队列名称为your_queue_name
-s
: 启动Session模式
三、类图
classDiagram
FlinkProgram --> FlinkYarnSession
FlinkYarnSession --> Yarn
经过以上步骤,你就成功启动了一个Flink on Yarn Session并指定了队列。希望这篇教程对你有所帮助!