Flink Job的提交流程的源码从源码层面谈Flink Job的提交流程我们提交的Flink Job会被转化成一个DAG任务运行，分别是：StreamGraph、JobGraph、ExecutionGraph，Flink中JobManager与TaskManager，JobManager与Client的交互是基于Akka工具包的，是通过消息驱动。整个Flink Job的提交还包含着ActorSy
转载
2024-03-24 11:11:24
60阅读
1. 版本说明本文档内容基于 flink-1.16.x，其他版本的整理，请查看本人博客的 flink 专栏其他文章。2. 查询配置默认情况下，Table 和 SQL API 已经配置好了可以接受的性能对应的配置。取决于 table 程序的需要，可能还需要配置一些必要的参数给优化器。比如，无界流程序可能需要确定必要的状态大小上限。2.1. 概述在实例化一个 TableEnvironment 对象时，
转载
2024-02-28 21:57:32
55阅读
目录前言一、resourceManagerLeaderRetriever的启动1.1、启动监听服务1.2、TaskExecutor对ResourceManager注册1.2.1、注册对象的初始化1.2.2 开始向ResourceManager注册1.2.2.1、连接ResourceManager，获取ResourceManager的引用，并进行注册1.2.2.1.1 正式开始注册1.2.2.1.
转载
2024-05-04 10:17:23
161阅读
美团数据平台计算引擎组工程师冯斐，在 Flink Forward Asia 2022 生产实践专场的分享。
原创
2023-11-10 15:36:02
162阅读
flink 之路 - 15
原创
2021-09-01 11:58:35
465阅读
一、为什么要优化？（优化背景）Flink 支持多种 StateBackend，当状态比较大时目前只有 RocksDBStateBackend 可供选择。RocksDB 是基于 LSM 树原理实现的 KV 数据库，LSM 树读放大问题比较严重，因此对磁盘性能要求比较高，强烈建议生产环境使用 SSD 做为 RocksDB 的存储介质。但是有些集群可能并没有配置 SSD，仅仅是普通的机械硬盘，当 Fli
转载
2024-06-20 17:12:57
87阅读
摘要：本文根据 Apache Flink 系列直播整理而成，由阿里巴巴高级开发工程师宋辛童分享。文章主要从基本概念、当前机制与策略、未来发展方向等三个方面帮助开发者深入理解 Flink 的资源管理机制。基本概念当前机制与策略未来发展方向1. 基本概念1.1 相关组件我们今天介绍的主要是与 Flink 资源管理相关的组件，我们知道一个 Flink Cluster 是由一个 Flink M
转载
2024-05-14 08:00:02
80阅读
成本估算在基于成本的优化器中，成本估算非常重要，它直接影响着候选计划的生成。在Flink中成本估算依赖于每个不同的运算符所提供的自己的“预算”，本篇我们将分析什么是成本、运算符如何提供自己的预算以及如何基于预算估算成本。什么是成本Flink以类Costs来定义成本，它封装了一些成本估算的因素同时提供了一些针对成本对象的计算方法（加、减、乘、除）以及对这些因素未知值的认定与校验。“cost”一词也有
转载
2023-10-18 19:50:40
180阅读
前言从半年现在从0开始搭建Flink实时计算平台，部分存储层用到了Elasticsearch，从零开始接触Flink，这半年来遇到了好多坑，由传统的开发转变成了大数据开发，Elasticsearch内含有多种熔断器，为了防止OOM。由于目前业务查询的方式会造成成本很高，（可以看一下allow_expensive_querys），某次查询可能会引起服务的熔断，这时候有可能引起实时任务 sink El
转载
2024-01-21 05:40:45
65阅读
1. 先savepoint 之后过一段时间再cancel job是否会丢失数据这个不一定的，要看你的source是什么，比如你的source是kafka就不会丢失，他可以重复提取数据，但如果数据源是串口比如端口之类的，就会丢失2. 是否真的能extaclty once（数据恰好处理一次）这个要取决于从哪个角度来说比如光看过程，数据如果丢失肯定要多读几次，但是光看结果肯定是ex once水印的出现就
转载
2024-01-27 23:23:44
45阅读
相信不少读者在开发 Flink 应用时或多或少会遇到在内存调优方面的问题，比如在我们生产环境中遇到最多的 TaskManager 在容器化环境下占用超出容器限制的内存而被 YARN/Mesos kill 掉[1]，再比如使用 heap-based StateBackend 情况下 State 过大导致 GC 频繁影响吞吐。这些问题对于不熟悉 Flink 内存管理的用户来说十分难以排查，而且 Fli
转载
2024-04-24 19:13:47
59阅读
Flink 第1章 Flink资源与内存模型资源配置调优开发了一些程序，那么怎么评估这些程序所需要的资源配比这些呢？ 比如使用标准的Flink任务提交脚本 Generic CLI模式（通用客户端模型）从1.11开始，增加了通用的客户端模型 使用-D指定kv变量（这里演示以1.13.2为准）。bin/flink run \
-t yarn-per-job \
-d \
-p 5\ # 执行并
转载
2023-10-04 22:19:32
238阅读
目录一、内存设置1. TaskManager 内存模型2. 生产资源配置示例二、合理利用 cpu 资源1. 使用 DefaultResourceCalculator 策略2. 使用 DominantResourceCalculator 策略3 使用 DominantResourceCalculator 策略并指定容器 vcore 数三、并行度设置1. 全局并行度计算2. Source 端并行度的
转载
2023-11-07 10:58:26
172阅读
新的Task Executor内存模型FLIP49为Task Executor引入了一种新的内存模型。引入了新的配置选项来控制Task Executor的内存消耗。将影响所有类型的部署:standalone, YARN, Mesos和Kubernetes。job manager的内存模型尚未更改，但也计划进行更新。如果尝试在不做任何调整的情况下重用以前的Flink配置，新的内存
转载
2024-03-20 06:54:59
24阅读
Flink调优法则一. 性能定位性能定位口诀:一压 二查 三指标，延迟吞吐是关键
时刻关注资源量，排查首先看GC口诀分析1. 看背压通常最后一个背压高的subTask的下游就是job的明显瓶颈之一2. 看checkoint时长checkpoint的时长在一定程度上可以影响job的整体吞吐3. 查看关键指标通过延迟与吞吐指标可以对任务的性能进行精准的判断4. 资源利用率我们进行优化的最终目的是提供
转载
2024-01-03 13:17:52
96阅读
一、资源抽象二、资源管理器 资源管理器在Flink中叫做ResourceManager。Flink同时支持不同的资源集群类型，ResourceManager位于Flink和资源管理集群(Yarn、K8s等)之间，是Flink集群资源管理器的抽象，其主要作用如下：申请容器启动新的TM，或者为作业申请Slot。处理JobManager和TaskManager的异常退出。缓存Tas
转载
2024-03-14 20:14:14
189阅读
Scheduling：Flink中的执行资源通过任务槽(Task Slots)定义。每个TaskManager都有一个或多个任务槽，每个槽都可以运行一个并行任务管道(pipeline)。管道由多个连续的任务组成，例如第n个MapFunction并行实例和第n个ReduceFunction并行实例。Flink经常并发地执行连续的任务：对于流程序，这在任何情况下都会发生，对于批处理程序，它也经常发生。
转载
2024-01-09 21:13:23
83阅读
第一章 ApacheFlink介绍一、Flink优势1. 目前唯一同时支持高吞吐、低延迟、高性能的分布式流式数据处理框架
2. 支持事件事件概念
3. 支持有状态计算，保持了事件原本产生的时序性，避免网络传输带来的影响
4. 支持高度灵活的窗口操作，Flink将窗口分为Time、Count、Session以及Data-driven等类型的窗口操作，可以灵活的处罚条件定制化来达到对复杂的流传输
转载
2023-12-10 11:24:27
48阅读
Foreword截至当前，Flink作业的状态后端仍然只有Memory、FileSystem和RocksDB三种可选，且RocksDB是状态数据量较大（GB到TB级别）时的唯一选择。RocksDB的性能发挥非常仰赖调优，如果全部采用默认配置，读写性能有可能会很差。但是，RocksDB的配置也是极为复杂的，可调整的参数多达百个，没有放之四海而皆准的优化方案。如果仅考虑Flink状态存储这一方面，我们
转载
2024-03-15 05:35:22
38阅读
截至当前，Flink 作业的状态后端仍然只有 Memory、FileSystem 和 RocksDB 三种可选，且 RocksDB 是状态数据量较大（GB 到 TB 级别）时的唯一选择。RocksDB 的性能发挥非常仰赖调优，如果全部采用默认配置，读写性能有可能会很差。 但是，RocksDB 的配置也是极为复杂的，可调整的参数多达百个，没有放之四海而皆准的优化方案。如果仅考虑 Flink 状态存
转载
2024-03-06 00:51:17
72阅读
