.一 .前言二 .数据结构2.1. ExecutionJobVertex2.1.1. AccessExecutionJobVertex2.1.2. Archiveable2.1.3. ArchivedExecutionJobVertex2.1.4. ExecutionVertex2.1.5. IntermediateResult2.1.6. ExecutionVertex2.1.7. Execu
转载
2024-10-08 13:49:31
47阅读
JobMaster 部署 Task核心入口：JobMaster.onStart();部署 Task 链条：JobMaster --> DefaultScheduler --> SchedulingStrategy --> ExecutionVertex --> Execution --> RPC请求 --> TaskExecutorTaskExecutor 处理
* A distribution pattern determines, which sub tasks of a producing task are connected to which * consuming sub tasks. * * It affects how {@link ExecutionVertex} and {@link IntermediateResultPartition
转载
2024-08-05 20:14:50
30阅读
文章目录Flink Job提交流程(Dispatcher之后)1 Dispatcher2 ExecutionGraph2.1 ExecutionJobVertex2.2 ExecutionVertex2.3 Execution2.4 IntermediateResult2.5 ExecutionEdge3 Task调度3.1 DataSourceTask3.2 StreamTask3.2.1 S
转载
2023-12-16 18:25:43
103阅读
Flink1.7.2 Dataset 并行计算源码分析概述了解Flink处理流程(用户程序 -> JobGrapth -> ExecutionGraph -> JobVertex -> ExecutionVertex -> 并行度 -> Task(DataSourceTask,BatchTask,DataSinkTask)了解ExecutionVetex的构建，
转载
2024-07-24 15:00:38
61阅读
和作业状态不同，Task 状态的有向图中没有环，但是 Task 可能被执行多次（例如在异常恢复时）。ExecutionVertex 的执行是由用来描述当前的作业执行状态。
目录ExectionGraph核心对象1.ExecutionJobVertex2.ExecutionVertex3.IntermediateResult4.IntermediateResultPartition5.ExecutionEdge6.Execution前几篇文章分析了StreamGraph、JobGraph。这篇文章分析JobGraph的下一步ExecutionGraph的核心对象Exe
转载
2024-03-21 09:41:35
36阅读
目录前言一、ExecutionGraph概述二、ExecutionGraph的构成2.1、ExecutionGraph空壳的初始化2.2、ExecutionVertex的构建2.3、ConsumedPartitionGroup和ConsumedVertexGroup的构建总结前言 在前两章中，我们分析了F
转载
2024-10-12 14:25:19
69阅读
Flink版本：1.4.2
目的：本文主要是了解Flink中DataSource是如何从HDFS中读取数据的。梳理一下大致流程： 在JobManager处，通过提交得来的JobGraph生成ExecutionGraph时，会将JobGraph中的每个JobVertex都转换成ExecutionJobVertex（注意ExecutionJobVertex和ExecutionVertex的区别，
转载
2023-07-11 17:03:17
527阅读
此阶段会为每个Task分配并行度，生成对应的ExecutionVertex。JobManager负责将JobGraph转换为ExecutionGraph并调度任务，TaskManager通过Slot资源执行具体Task，最终形成物理执行图。由TaskManager根据ExecutionGraph部署Task后形成的实际运行结构，并非具体数据结构，而是物理任务实例的拓扑关系。根据用户通过DataStream API编写的代码生成的最初DAG图，表示程序的拓扑结构，通常在客户端完成。
