如何设置 Flink 默认 YARN 队列
Apache Flink 是一个流处理和批处理框架，通常与 Apache Hadoop 的 YARN 集群资源管理一起使用。对于新手而言，设置 Flink 的默认 YARN 队列可能有些复杂，本篇文章将指导你完成这一过程。
整体流程
下面是实现 Flink 默认 YARN 队列设置的步骤：
| 步骤 | 描述 |
|---|---|
| 1 | 安装和配置 Hadoop (YARN) |
| 2 | 安装和配置 Apache Flink |
| 3 | 配置 Flink 使用 YARN |
| 4 | 设置默认 YARN 队列 |
| 5 | 验证设置 |
1. 安装和配置 Hadoop (YARN)
首先，你需要确保 Hadoop (YARN) 能正常工作。请根据你的操作系统安装 Hadoop。确保你的 YARN 节点已经启动。
2. 安装和配置 Apache Flink
下载 Apache Flink 的发行版（可以在 [Apache Flink 官网]( 找到）。下载后，解压缩并进入到 Flink 的目录。
3. 配置 Flink 使用 YARN
进入 flink/conf 目录，打开 flink-conf.yaml 文件并进行如下配置，使 Flink 可以与 YARN 集成：
# 设定为 YARN 模式
jobmanager.execution-mode: yarn
# YARN 服务的地址
yarn.application.classpath: /path/to/hadoop/etc/hadoop,/path/to/hadoop/share/hadoop/common/*,/path/to/hadoop/share/hadoop/common/lib/*,/path/to/hadoop/share/hadoop/hdfs/*,/path/to/hadoop/share/hadoop/hdfs/lib/*,/path/to/hadoop/share/hadoop/yarn/*,/path/to/hadoop/share/hadoop/yarn/lib/*
以上代码的说明：
jobmanager.execution-mode用来指定 Flink 的执行模式为 YARN。yarn.application.classpath把 Hadoop 的配置文件路径加入到 Flink 的类路径中，以便 Flink 能找到 Hadoop 的配置。
4. 设置默认 YARN 队列
在同一个 flink-conf.yaml 文件中，添加如下配置来指定一个默认的 YARN 队列：
# 默认的 YARN 队列名称
yarn.queue: default_queue_name
5. 验证设置
完成以上步骤后，你可以通过提交一个 Flink 作业来验证是否成功配置了默认 YARN 队列。在 Flink 的 bin 目录下运行以下命令：
bin/flink run -m yarn://<jobmanager_host>:<jobmanager_port> -p <parallelism> <your_flink_job>.jar
这里需要替换的部分：
<jobmanager_host>: YARN JobManager 的主机名<jobmanager_port>: YARN JobManager 的端口（通常为 8081）<parallelism>: 设置并行度<your_flink_job>.jar: 你的 Flink 作业的 jar 包路径
你可以在 YARN 的 UI 中查看作业是否被成功提交到指定的队列中。
总结
通过上述步骤，你应该已经成功配置了 Flink 的默认 YARN 队列。这虽然看似繁琐，但每个步骤都是为了确保 Flink 与 YARN 的良好集成，以便你能顺利运行作业。在此过程中，如果遇到任何问题，务必查阅相关文档或参考社区的帮助信息。希望你在 Flink 的学习和使用中能取得更大的进步！
