Flink on Yarn启动Session指定队列教程

一、整体流程

下面是启动Flink on Yarn Session并指定队列的步骤:

步骤 描述
1 准备Flink程序jar包和配置文件
2 启动Yarn集群
3 提交Flink on Yarn Session

二、步骤说明

步骤一:准备Flink程序jar包和配置文件

首先,你需要将你的Flink程序打包成一个jar包,同时准备好配置文件 flink-conf.yaml。确保配置文件中包含以下内容:

yarn.application.name: flink-session
yarn.queue: your_queue_name

步骤二:启动Yarn集群

如果你还没有启动Yarn集群,可以按照以下步骤启动:

  1. 启动HDFS:
start-dfs.sh
  1. 启动Yarn:
start-yarn.sh

步骤三:提交Flink on Yarn Session

最后,使用以下命令提交Flink on Yarn Session:

./bin/yarn-session.sh -n 2 -jm 1024m -tm 1024m -qu your_queue_name -s

其中,参数解释如下:

  • -n 2: 指定TaskManager的数量为2
  • -jm 1024m: 指定JobManager的内存为1024MB
  • -tm 1024m: 指定TaskManager的内存为1024MB
  • -qu your_queue_name: 指定队列名称为 your_queue_name
  • -s: 启动Session模式

三、类图

classDiagram
    FlinkProgram --> FlinkYarnSession
    FlinkYarnSession --> Yarn

经过以上步骤,你就成功启动了一个Flink on Yarn Session并指定了队列。希望这篇教程对你有所帮助!