前言 在Flink原理——容错机制一文中，已对checkpoint的机制有了较为基础的介绍，本文着重从源码方面去分析checkpoint的过程。当然本文只是分析做checkpoint的调度过程，只是尽量弄清楚整体的逻辑，没有弄清楚其实现细节，还是有遗憾的，后期还是努力去分析实现细节。文中若是有误，欢迎大伙留言指出！ 本文基于Flink1.9。1、参数设置1.1 有关checkpoint常见的参
转载
2024-08-14 18:01:58
44阅读
Flink -- ProcessFunction处理函数概述处理函数基本处理函数 ProcessFunction按键分区处理函数 KeyedProcessFunction定时器与定时服务基于处理时间的分区处理函数基于事件时间的分区处理函数窗口处理函数 ProcessWindowFunction应用案例 -- Top N 处理函数概述为了使代码拥有更强大的表现力和易用性，Flink 本身提供了多层
转载
2024-03-27 09:39:27
12阅读
1.定义SourceTransformation的主要作用是将一个数据源转换为DataStream，以便对数据源进行各种处理操作，例如map、filter、join等。在Flink中，数据源可以是各种不同的数据源，例如Kafka、Socket、文件等。2.使用示例下面是一个简单的示例，演示如何使用SourceTransformation将自定义的数据源转换为DataStream对象。 假设我们有一
转载
2024-04-25 06:45:27
24阅读
一、资源配置优化1、并行度1.1 并行度设置并行度（parallelism）：为任务提供足够的并行度，但并行度也不是越大越好，太多会加重数据在多个solt/task manager之间数据传输压力，包括序列化和反序列化带来的压力。一个任务的并行度设置可以从4个层面指定：Operator Level（算子层面）
Execution Environment Level（执行环境层面）
Client L
原创
2023-08-02 17:34:39
1833阅读
本文翻译自官网：Streaming Aggregation https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/tuning/streaming_aggregation_optimization.htmlSQL是用于数据分析的最广泛使用的语言。Flink的Table API和SQL使用户能
转载
2024-05-06 09:30:31
191阅读
使用flink tuples 当使用groupby，join，后者key这类算子的时候，FLink提供了很多种访问你key的方法。1. 使用key selector// Join movies and ratings datasets
movies.join(ratings)
// Use movie id as a key in both cas
转载
2024-05-23 13:30:14
51阅读
通用调优官网给的一些调优的方式，比较通用加资源 暴力调优，加内存，调大并行度（尽管不是最优解，但是最最常用、最直接的方式）开启 MiniBatchFlink 是流式数据处理，没过来一条数据就会被直接处理MiniBatch 是把流处理变为微批处理的方式，先缓存一定的数据后在触发处理，这样可以减少对 State 的访问、提升吞吐、有效减少输出数据量但是会牺牲低延迟，对超低延迟要求的场景不建议
转载
2024-07-03 04:26:44
36阅读
1. 合理的评估 Flink 任务的并行度Flink 任务并行度合理行一般根据峰值流量进行压测评估，并且根据集群负载情况留一定量的 buffer 资源。如果数据源已经存在，则可以直接消费进行测试 如果数据源不存在，需要自行造压测数据进行测试1.1 对于一个 Flink 任务来说，一般可以按照以下方式进行细粒度设置并行度：source 并行度配置：以 kafka 为例，source 的并行度一般设置
转载
2024-01-29 12:37:36
42阅读
如何提高 Flink 任务性能一、Operator Chain为了更高效地分布式执行，Flink 会尽可能地将 operator 的 subtask 链接（chain）在一起形成 task，每个 task 在一个线程中执行。将 operators 链接成 task 是非常有效的优化：它能减少线程之间的切换，减少消息的序列化/反序列化，减少数据在缓冲区的交换，减少了延迟的同时提高整体的吞吐量。Fli
转载
2024-03-18 10:25:21
120阅读
在Kubernetes集群中使用Apache Flink时，对内存进行调优是非常重要的一个步骤。通过正确地调整内存设置，可以提高作业的性能和稳定性。本文将详细介绍如何在Kubernetes上对Flink作业进行内存调优。
**步骤概述：**
| 步骤 | 操作 |
| ---- | ---- |
| 1 | 确定Flink集群的配置 |
| 2 | 配置任务管理器和JobManager的内存
原创
2024-04-28 10:41:13
46阅读
Apache Flink 是一个基于流处理的分布式数据处理引擎，能够处理高效的大规模数据。在实际应用过程中，对于 Flink 参数的调优是非常重要的，能够提高作业的性能和稳定性。本文将介绍如何进行 Flink 参数调优，帮助大家更好地使用 Flink。
### Flink 参数调优流程
以下是对 Flink 参数调优的整体流程，可以帮助大家更好地了解：
| 步骤 | 描述 |
|-------
原创
2024-05-24 09:54:37
108阅读
网络流控网络流控的作用如上是一张网络流控的图，Producer的吞吐率是2MB/s，Consumer是1MB/s，此时在网络通信时Producer的速度是比Consumer要快的，有1MB/s的速度差。假定两端都有一个Buffer，Producer端有一个发送用的Send Buffer，Consumer端有一个接收用的Receive Buffer，在网络端的吞吐率是2MB/s，5s后Receive
转载
2024-03-24 18:14:37
485阅读
本文主要简单介绍TaskManager的内存管理策略，以下均为笔者个人观点，欢迎大家批评指正。一 、内存布局在flink中，TaskManager内存主要分为三大块JVM使用的内存网络内存池Flink自己管理的内存 Flink自己管理的内存：这个内存，指的是flink的预留内存，这部分内存可以在jvm堆内，也可以在jvm堆外，若如此(在堆外)，这部分内存不会受jvm管辖。照
转载
2024-02-12 08:47:10
59阅读
1、简介Flink中借助watermark以及window和trigger来处理基于event time的乱序问题，那么如何处理“late element”呢？也许有人会问，out-of-order element与late element有什么区别？不都是一回事么？答案是一回事，都是为了处理乱序问题而产生的概念。要说区别，可以总结如下：1、通过watermark机制来处理out-of-
转载
2024-03-21 12:41:53
52阅读
转载
2020-04-04 10:17:00
123阅读
2评论
hive的调优： 第一个调优：fetch抓取，能够避免使用mr的，就尽量不要用mr，因为mr太慢了 set hive.fetch.task.conversion=more 表示我们的全局查找，字段查找，limit查找都不走mr 这个属性配置有三个取值 more minimal  
转载
2023-07-14 23:37:40
87阅读
目录1 什么是状态后端？2 状态后端分类？MemoryStateBckend注意FsStateBackend适用场景RocksDBStateBackend适用场景注意点3 RocksDB 大状态调优设置本地Rocks多目录开启增量CheckpointBlock SizeBlock Cache Size最大打开文件Cache In
转载
2024-03-18 09:38:52
235阅读
前言Flink优化从多方面下手。1、资源配置调优 Flink性能调优的第一步，就是为任务分配合适的资源，在一定范围内，增加资源的分配与性能的提升是成正比的，实现了最优的资源配置后，在此基础上再考虑进行后面论述的性能调优策略。 &nbs
转载
2024-02-27 23:10:33
40阅读
对于需要保存超大状态（远超于内存容量）的流计算场景来说，目前 RocksDB [1] 是 Flink 平台上官方实现的唯一选择。业界也有使用 Redis 等其他服务作为状态后端的方案，但终究不够成熟，且已被社区否决 [2]。基于我们长期的状态调优经验，通过合理的资源分配，RocksDB 方案可以稳定支持上百 GB 甚至上 TB 的总状态量；但是众所周知的是，RocksDB 的可调参数非常繁琐，有上
转载
2024-01-29 00:59:04
62阅读
# Spark 资源调优：提升性能的关键
在大数据处理领域，Apache Spark因其高效的数据处理能力而受到广泛欢迎。但在面对大规模数据集时，仅依赖默认配置往往无法发挥出其全部潜力。因此，进行Spark资源调优是确保应用性能的重要步骤。本文将介绍一些基本的调优方法，并提供相应的代码示例，以帮助用户更好地利用Spark。
## 1. 理解Spark资源管理
在进行调优之前，理解Spark的
原创
2024-10-10 04:43:01
54阅读
