1.前言 本文主要基于实践过程中遇到的一系列问题，来详细说明Flink的状态后端是什么样的执行机制，以理解自定义函数应该怎么写比较合理，避免踩坑。 内容是基于Flink SQL的使用，主要说明自定义聚合函数的一些性能问题，状态后端是rocksdb。2.Flink State https://ci.apache.org/projects/flink/flink-docs-release-1.1
转载
2024-02-29 14:49:24
188阅读
1. flink的Keyed State 有哪些？keyed state 接口提供不同类型状态的访问接口，这些状态都作用于当前输入数据的 key 下。换句话说，这些状态仅可在 KeyedStream 上使用，在Java/Scala API上可以通过 stream.keyBy(…) 得到 KeyedStream，在Python API上可以通过 stream.key_by(…) 得到 KeyedSt
转载
2024-05-27 20:03:50
28阅读
大家好，我是小寒~在上一篇文章，我们分享了 FLink 中时间和窗口的相关技术细节，今天我们来分享一下 FLink 中的状态管理相关的内容。状态管理状态在 FLink 中叫作 State，用来保存中间计算结果或者缓存数据。对于流计算而言，事件待续不断地产生，如果每次计算都是相互独立的，不依赖于上下游的事件，则是无状态计算。
如果计算常要依赖于之前或者后续的事件，则是有状态的计算。 State 是实
转载
2024-03-22 21:59:34
84阅读
Backpressure（背压）在分布式流处理系统中，Backpressure（背压）是一个重要的概念，用于的处理系统中不同速率产生和处理数据问题。当数据的生成速率超过处理速率时，未经处理的数据会在系统中积累，可能导致内存溢出或其他资源瓶颈。Backpressure 机制能够帮助系统动态调整处理速度，以避免这种情况。下面我们分别看看在 Spark 和 Flink 中 Backpressure 是如
workSpace:messageCenter->javaFlink1.valueStateValueState：这将保留一个可以更新和检索的值（作用域为输入元素的键，因此该操作看到的每个键可能会有一个值）。该值可以使用设置update(T)和使用检索 T value()。1.1 java语言描述valueState功能定义:对输入的数据数量统计,当数量达到2时,输出清零,之后继续统计。pa
转载
2024-03-15 05:13:28
91阅读
Window：在Streaming中，数据是无限且连续的，我们不可能等所有数据都到才进行处理，我们可以来一个就处理一下，但是有时我们需要做一些聚合类的处理，例如：在过去的1分钟内有多少用户点击了我们的网页。在这种情况下，我们必须定义一个窗口，用来收集最近一分钟内的数据，并对这个窗口内的数据进行计算。窗口可以是时间和事件驱动的，窗口有翻滚窗口(Tumbling Window，无重叠)，滚动窗口(Sl
转载
2024-05-06 09:32:21
0阅读
1 引言2 EventTime倾斜2.1 情形2.2 排查思路2.3 解决方式3 消费不均匀3.1 情形3.2 解决方式4 数据延时4.1 情形4.1 解决方式1 引言在Flink中，EventTime即事件时间，能够反映事件在某个时间点发生的真实情况，即使在任务重跑情况也能够被还原，计算某一段时间内的数据，那么只需要将EventTime范围的数据聚合计算即可，但是数据在上报、传输过程中难免会发生
转载
2024-03-15 08:45:14
58阅读
文章目录基本处理函数（ProcessFunction）ProcessFunction 解析抽象方法.processElement()非抽象方法.onTimer()处理函数的分类 在更底层，我们可以不定义任何具体的算子（比如 map，filter，或者 window），而只是提炼出一个统一的“处理”（process）操作——它是所有转换算子的一个概括性的表达，可以自定义处理逻辑，所以这一层接口就
转载
2024-03-18 07:15:35
59阅读
文章目录 我们这里会使用用户 id 来进行分流，然后分别统计每个用户的 pv 数据，由于我们并不想每次 pv 加一，就将统计结果发送到下游去，所以这里我们注册了一个定时器，用来隔一段时间发送 pv 的统计结果，这样对下游算子的压力不至于太大。具体实现方式是定义一个用来保存定时器时间戳的值状态变量。当定时器触发并向下游发送数据以后，便清空储存定时器时间戳的状态变量，这样当新的数据到来时，发现并没有
转载
2024-04-15 17:34:44
72阅读
1.状态schema演变Apache Flink流应用程序通常设计为无限期或长时间运行。对于所有长期运行的服务，需要更新应用程序以适应不断变化的需求。对于应用程序所针对的数据schema也是如此;它们随着应用程序的发展而发展。本章概述了如何演进状态类型的数据schema。当前的限制因不同类型和state结构(ValueState、ListState等)而不同。需要注意的是，只有在使用由Flink自
转载
2024-07-24 12:46:17
36阅读
JobMaster 部署 Task核心入口：JobMaster.onStart();部署 Task 链条：JobMaster --> DefaultScheduler --> SchedulingStrategy --> ExecutionVertex --> Execution --> RPC请求 --> TaskExecutorTaskExecutor 处理
一、为什么选择Flink Apache Flink 是一个框架和分布式处理引擎，用于对无界和有解数据流进行状态计算，其具有高吞吐、低延迟、结果准确、语义化窗口、易用的API和高容错的特点 ETL 是企业
转载
2024-05-29 11:40:39
138阅读
生产环境，我们的 Flink 作业偶尔会出现 heap OOM，那么当出现这种情况我们会怎么办？通常来说会通过 jmap 命令去将作业的 heap dump 一份文件出来，可是 jmap 导出的文件我们也看不懂啊，那么该怎么分析呢？今天推荐 memory analyzer(mat)这个工具，让他帮助我们来观察程序的内存分布情况吧。MAT 不是一个万能工具，它并不能处理所有类型的堆存储文件。但是比较
本篇博客学习一下内容缓冲流概述BufferedInputStream 字节输入缓冲流构造方法BufferedOutputStream 字节输出缓冲流构造方法flush() 和 close()BufferedReader 字符输入缓冲流构造方法BufferedWriter 字符输出缓冲流构造方法总结缓冲流概述缓冲流是对文件流处理的一种流，它本身并不具备 IO 功能，只是在别的流上加上缓冲提高了效率，
转载
2024-10-27 09:58:15
13阅读
Table of Contents 1、Flink简介2、为什么选择 Flink？3、分布式运行1、Flink简介Flink核心是一个流式的数据流执行引擎，其针对数据流的分布式计算提供了数据分布、数据通信以及容错机制等功能。基于流执行引擎，Flink提供了诸多更高抽象层的API以便用户编写分布式任务：DataSet API， 对静态数据进行批处理操作，将静态数据抽象成分布式的数据集，用户
转载
2024-08-01 21:03:27
104阅读
Flink 它可以处理有界的数据集、也可以处理无界的数据集、它可以流式的处理数据、也可以批量的处理数据。Flink 是什么 ？上面三张图转自 云邪 成都站 《Flink 技术介绍与未来展望》，侵删。从下至上，Flink 整体结构从下至上：1、部署：Flink 支持本地运行、能在独立集群或者在被 YARN 或 Mesos 管理的集群上运行， 也能部署在云上。2、运行：Flink 的核心是分布式流式数
转载
2023-12-19 15:38:35
31阅读
Apache Flink 是一个分布式处理引擎，在有界或无界数据流上进行有状态的计算。flink可以在所有通用的集群环境上运行，并且可以以内存级的速度进行大批量的计算。1.处理有界和无界的数据任何数据都可以看做事件流，银行交易、传感器测量、机器日志或者用户在网站或手机上的交互行为，所有这些数据都是作为流产生的。数据可以被当做有界或无界的流进行处理。无界流有开始但是没有结束，他们不会结束，并且会事实
转载
2024-02-28 09:34:00
121阅读
前言 终于忙完了四门专业课的期末，确实挺累啊。今天开始继续学习 Flink ，接着上次的内容。1、窗口 之前我们已经了解了 Flink 中基本的聚合操作。在流处理中，我们往往需要面对的是连续不断、无休无止的无界流，不可能等到所有所有数据都到齐了才开始处
转载
2024-07-24 13:10:06
137阅读
1、Flink概述Apache Flink 是一个框架和分布式处理引擎，用于在， 无边界和有边界数据流上进行有状态的计算 ，Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。Apache Flink 功能强大，支持开发和运行多种不同种类的应用程序。它的主要特性包括： 批流一体化、精密的状态管理、事件时间支持以及精确一次的状态一致性保障等 。Flink 不仅可以运行在包括 Y
Window Function在窗口触发后，负责对窗口内的元素进行计算。Window Function分为两类: 增量聚合和全量聚合。增量聚合: 窗口不维护原始数据，只维护中间结果，每次基于中间结果和增量数据进行聚合。如: ReduceFunction、AggregateFunction。全量聚合: 窗口需要维护全部原始数据，窗口触发进行全量聚合。如:ProcessWindowFunction。本
转载
2024-03-21 11:00:32
9阅读
