1 引言2 JobVertex3 JobEdge4 IntermediateDataSet5 StreamConfig6 StreamGraph 到 JobGraph6.1 StreamingJobGraphGenerator6.2 Chain Operator6.3 Chain Strategy6.4 Connect1 引言用户通过Stream API编写的程序，F
转载
2024-03-25 05:04:34
111阅读
.一 .前言二 .数据结构2.1. JobVertex2.2. JobEdge2.3. 数据实例三 .代码浅析3.1. 入口3.2. StreamingJobGraphGenerator 属性3.3. StreamingJobGraphGenerator#createJobGraph3.3. StreamingJobGraphGenerator#setChaining 一 .前言StreamGr
转载
2024-03-27 13:24:41
49阅读
目录JobGraph核心对象1、JobVertex2、JobEdge3、IntermediateDataSetJobGraph生成过程入口函数createJobGraph函数参考JobGraph源码解读上回说到，StreamGraph的源码其中是在客户端生成，并且是生成Node节点和Edge，主要是通过StreamAPI生成，表示拓扑结构，这次给大家讲讲JobGraph的生成(以Yarn集群模式)
转载
2024-05-08 16:52:15
33阅读
