实现“flink on yarn per job启动流程”教程

流程图

classDiagram
    class 小白 {
        - 创建Flink Job
        - 编写代码
        - 打包jar包
        - 提交任务到YARN
    }

步骤

步骤 操作 代码示例
1 创建Flink Job 无
2 编写代码 无
3 打包jar包 bash jar cvf flink-job.jar *.class
4 提交任务到YARN bash flink run -m yarn-cluster -yn 1 -c com.example.MainClass flink-job.jar

详细说明

  1. 创建Flink Job

    首先需要创建一个Flink Job，包括编写需要处理的数据流逻辑。

  2. 编写代码

    编写Flink Job 的代码，实现具体的数据处理逻辑。

  3. 打包jar包

    将编写好的代码打包成jar包，以便在YARN上运行。

    jar cvf flink-job.jar *.class

    这里使用jar命令将所有编译好的class文件打包成一个名为flink-job.jar的jar包。

  4. 提交任务到YARN

    使用以下命令提交任务到YARN，并指定启动的Flink Job。

    flink run -m yarn-cluster -yn 1 -c com.example.MainClass flink-job.jar
    • -m yarn-cluster：指定使用YARN集群模式运行任务。
    • -yn 1：指定任务占用的YARN容器数量。
    • -c com.example.MainClass：指定启动的主类。
    • flink-job.jar：指定需要运行的jar包。

关系图

erDiagram
    CUSTOMER ||--o| ORDERS : places
    ORDERS ||--| ITEMS : contains

通过以上步骤，你可以成功实现“flink on yarn per job启动流程”。祝你一切顺利！