1.各个执行Graph 2.JobManager和JobMaster 3.Task？Slot？StreamTask？ 4.Checkpoint？ 5.BarrierBuffer和BarrierTracker?1.图生成StreamGraph JobGraph: StreamingJobGraphGenerator.createJobGraph() -jobvertex - JobGraph的提交
.一 .前言二 .数据结构2.1. JobVertex2.2. JobEdge2.3. 数据实例三 .代码浅析3.1. 入口3.2. StreamingJobGraphGenerator 属性3.3. StreamingJobGraphGenerator#createJobGraph3.3. StreamingJobGraphGenerator#setChaining 一 .前言StreamGr
转载
2024-03-27 13:24:41
49阅读
Flink1.7.2 Dataset 并行计算源码分析概述了解Flink处理流程(用户程序 -> JobGrapth -> ExecutionGraph -> JobVertex -> ExecutionVertex -> 并行度 -> Task(DataSourceTask,BatchTask,DataSinkTask)了解ExecutionVetex的构建，
转载
2024-07-24 15:00:38
61阅读
1 引言2 JobVertex3 JobEdge4 IntermediateDataSet5 StreamConfig6 StreamGraph 到 JobGraph6.1 StreamingJobGraphGenerator6.2 Chain Operator6.3 Chain Strategy6.4 Connect1 引言用户通过Stream API编写的程序，F
转载
2024-03-25 05:04:34
111阅读
JobGraph 生成过程StreamGraph 转变成 JobGraph 也是在 Client 完成，主要做了三件事：StreamNode 转成 JobVertexStreamEdge 转成 JobEdgeJobEdge 和 JobVertex 之间创建 IntermediateDataSet 来连接书接上回，execute 方法中通过 getJobGraph 将 Pipeline 转换为 Jo
转载
2024-04-16 09:46:26
9阅读
文章目录1.用法2.解析2.1.可设置资源2.2.ResourceProfile2.3.转换链2.3.1.StreamGraphGenerator2.3.2.StreamGraph2.3.3.JobVertex2.3.4.ExecutionJobVertex3.处理方式3.1.实现类3.2.processResourceRequirements3.3.checkResourceRequireme
转载
2024-05-30 00:25:24
84阅读
IntermediateDatasetIntermediateDataset 是在 JobGraph 中对中间结果的抽象。我们知道，JobGraph 是对 StreamGraph 进一步进行优化后得到的逻辑图，它尽量把可以 chain 到一起 operator 合并为一个 JobVertex，而 
Flink版本：1.4.2
目的：本文主要是了解Flink中DataSource是如何从HDFS中读取数据的。梳理一下大致流程： 在JobManager处，通过提交得来的JobGraph生成ExecutionGraph时，会将JobGraph中的每个JobVertex都转换成ExecutionJobVertex（注意ExecutionJobVertex和ExecutionVertex的区别，
转载
2023-07-11 17:03:17
527阅读
目录JobGraph核心对象1、JobVertex2、JobEdge3、IntermediateDataSetJobGraph生成过程入口函数createJobGraph函数参考JobGraph源码解读上回说到，StreamGraph的源码其中是在客户端生成，并且是生成Node节点和Edge，主要是通过StreamAPI生成，表示拓扑结构，这次给大家讲讲JobGraph的生成(以Yarn集群模式)
转载
2024-05-08 16:52:15
33阅读
SlotSharingGroup 表示不同的task可以共享slot，但是这是soft的约束，即也可以不在一个slot默认情况下，整个StreamGraph都会用一个默认的“default” SlotSharingGroup，即所有的JobVertex的task都可以共用一个slot /**
* A slot sharing units defines which differe
转载
2024-03-20 12:43:00
75阅读
