Apache Flink提供了一种容错机制，可以持续恢复数据流应用程序的状态。该机制确保即使出现故障，程序的状态最终也会反映来自数据流的每条记录(只有一次)。从容错和消息处理的语义上(at least once, exactly once)，Flink引入了state和checkpoint。state一般指一个具体的task/operator的状态。而checkpoint则表示了一个Flink J
转载
2024-10-05 11:23:58
46阅读
# 深入理解 Flink 的 Java Heap 内存管理
Apache Flink 是一个用于大规模数据处理的框架，尤其适合流处理。性能优化是 Flink 应用程序成功的关键，其中内存管理是非常重要的一部分。本文将围绕 Flink 中的 Java Heap 内存进行探讨，并给出相关代码示例，以帮助开发者更好地理解和优化内存管理。
## 什么是 Java Heap？
Java Heap（Ja
# 实现"java heap space flink"的方法
## 1. 整件事情的流程
```mermaid
flowchart TD
A(开始) --> B(了解问题)
B --> C(检查代码)
C --> D(调整heap space)
D --> E(重新运行程序)
E --> F(检查结果)
F --> G(结束)
```
## 2
原创
2024-03-27 06:40:40
77阅读
1 ProcessFunction API 我们之前学的转换算子是无法获取访问时间的时间搓信息和水位线信息的。而这在一些应用场景下，极为总要，例如MapFunction这样的map转换算子就无法访问时间戳或者当前时间的事件时间。基于此，DataStream API 提供了一些列的Low-level转换算子。可以访问时间戳，watermark以及注册定时事件。还可以输出特定的一些事件。例如
Flink在流上最大的特点，就是引入全局snapshot， CheckpointCoordinator做snapshot的核心组件为， CheckpointCoordinator /**
* The checkpoint coordinator coordinates the distributed snapshots of operators and state.
* It tr
1、Apache Flink
Spark与Flink对比123选择Spark：数据批处理，延迟性在数百毫秒到数秒之间；（Executor故障容错性高） 选择Flink：数据流处理，延迟性在微秒到毫秒级；（Executor故障容错性低）2、Flink的IDEA编程Github代码：https://github.com/jieky-1/Flink_Java 重点概念：内部类、有状态、富函数、水位线、C
转载
2023-09-18 16:13:25
114阅读
目录1. 基本概念2. Flink 数据流2.1 并行数据流2.2 如何划分 TASK 的依据2.3 如何计算 TASK 和 SUBTASK 个数2.4 Demo2.4.1 Code2.4.2 提交 jar 1. 基本概念Task(任务)：Task 是一个阶段多个功能相同 subTask 的集合，类似于 Spark 中的 TaskSet。subTask(子任务)：subTask 是 Flink
转载
2024-01-12 06:28:04
73阅读
Flink个人学习整理-核心知识篇（二）一、Flink运行架构 二、核心概念1、TaskManager与SlotsTaskManager与Slots之间，不会涉及CPU的隔离。 slots间：核心共用，内存不共用2、Task 与 SubTask一个算子就是一个Task，算子的并行度是多少，就有多少个SubTask3、Parallelism（并行度）一个特定算子的子任务（SubTask）的个数被称之
转载
2024-03-20 22:23:48
91阅读
本博客总结为B站尚硅谷大数据Flink2.0调优，Flink性能优化视频中常见故障排除的的笔记总结。1. 非法配置异常如果看到从 TaskExecutorProcessUtils 或 JobManagerProcessUtils 抛出的 IllegalConfigurationException，通常表明存在无效的配置值（例如负内存大小、大于 1 的分数等）或配置冲突。请重新配置内存参数。2. J
转载
2023-07-26 10:50:33
369阅读
本文收集了与粉丝沟通过程中常见的问题与解决方案，整理成文，供大家参考和查阅。1、Checkpoint失败：Checkpoint expired before completing原因是因为checkpointConf.setCheckpointTimeout(8000L)设置的太小了，默认是10min，这里只设置了8sec。当一个Flink App背压的时候（例如由外部组件异常引起），Barrie
转载
2024-03-27 10:00:22
39阅读
第一部分：flink概况一、flink简介1.flink和spark类似，是一个通用的，基于内存计算的，大数据处理引擎。
2.2009年是德国柏林理工大学一个研究性项目，用Java和Scala混合编写而成的。原项目名称为stratosphere
项目地址为http://stratosphere.eu
3.2014年被Apache孵化器所接受，迅速地成为了阿帕奇顶级项目ASF(Apache So
转载
2023-10-08 19:56:08
93阅读
Flink开发流程EnvironmentSource从集合读取数据从文件中读取数据读取本地文件读取HDFS文件Kafka读取数据自定义数据源TransformMapMapFunctionRichMapFunctionflatMapfilterkeyByshufflesplitselectconnectunionOperator滚动聚合算子（Rolling 、Aggregation）reducep
转载
2023-11-20 09:59:57
181阅读
文章目录Flink学习笔记Flink实操篇Flink 并行度 & Slot & Task1. 并行度2. 并行度的设置算子级别执行环境级别客户端级别系统级别3. 并行度操作DataStream 编程模型DataStream 编程模型Flink 的 DataSource 数据源1. 基于文件2. 基于 Socket3. 基于集合4. 自定义输入案例一：自定义单并行度数据源案例二：自
转载
2024-03-15 10:31:46
162阅读
1、非法配置异常如果您看到从 TaskExecutorProcessUtils 或 JobManagerProcessUtils 抛出的IllegalConfigurationException，通常表明存在无效的配置值（例如负内存大小、大于 1 的 分数等）或配置冲突。请重新配置内存参数。2 、Java 堆空间异常如果报 OutOfMemoryError: Java heap space 异常，
转载
2023-12-05 16:35:52
143阅读
目录一、非法配置异常二、Java 堆空间异常三、直接缓冲存储器异常四、元空间异常五、网络缓冲区数量不足六、超出容器内存异常七、Checkpoint 失败1. Checkpoint Decline2. Checkpoint Expire八、Checkpoint 慢九、Kafka 动态发现分区十、Watermark 不更新十一、依赖冲突十二、超出文件描述符限制十三、脏数据导致数据转发失败十四、通讯超
转载
2023-08-26 20:35:02
122阅读
今天，我对 Flink ON YARN 集群的内存进行下调整。我调整了 Container 容器最小的分配内存，导致了一系列的问题，这里记录一下。
（1）yarn.nodemanager.resource.memory-mb 表示该节点上YARN可使用的物理内存总量，默认是8192（MB），注意，如果你的节点内存资源不够8GB，则需要调减小这个值，而YARN不会智能的探测节点的物理内存总
原创
精选
2021-11-08 17:03:59
1428阅读
flink的容错机制主要是通过checkpoint和state来实现的checkpiont机制和容错性Flink使用流重放和检查点的组合来实现容错。检查点与每个输入流中的特定点以及每个操作员的相应状态相关。流数据流可以从检查点恢复，同时通过恢复操作员的状态和从检查点重放事件来保持一致性（正好一次处理语义）。检查点间隔是在执行期间利用恢复时间（需要重播的事件数）来权衡容错开销的一种方法。对于批处理：
转载
2024-07-09 05:03:35
40阅读
工具 jvisualvm.exe：JDK自带，\jdk1.8.0_131\bin 方法区内存溢出异常 jdk1.8和1.7自带的hotspot虚拟机的差异了。从jdk1.8开始，自带的hostspot虚拟机取消了过去的永久区，而新增了metaspace区，从功能上看，metaspace可以认为和永久区类似，其最主要的功用也是存放类元数据，但实际的机制则有较大的不同。首先，metasp
1)、java监控工具使用 jconsole是一种集成了上面所有命令功能的可视化工具，可以分析jvm的内存使用情况和线程等信息 visualvm 提供了和jconsole的功能类似，提供了一大堆的插件。 插件中，Visual GC（可视化GC）还是比较好用的，可视化GC可以看到内存的具体使用情况。2)、Java虚拟机运行时数据区域划分 被分为五个区域：堆(Heap)、栈(Stack)
转载
2024-03-29 16:50:04
58阅读
1、设置空闲状态保留时间Flink SQL 新手有可能犯的错误，其中之一就是忘记设置空闲状态保留时间导致状态爆炸。列举两个场景：➢ FlinkSQL 的 regular join（inner、left、right），左右表的数据都会一直保存在状态里，不会清理！要么设置 TTL，要么使用 FlinkSQL 的 interval join。➢ 使用 Top-N 语法进行去重，重复数据的出现一般都位于特
转载
2023-12-11 12:59:13
124阅读
