问题回顾关于一段代码：object MySingleObj{
// 陷阱：
// 单例对象中一个是可变引用，一个是可变数组
var str:String = _
val list = new ListBuffer[String]
}...
dataStream
.map(new RichMapFunction(){
// 问题1：obj1 和 obj2 的实例方式有什么区别。
/
转载
2024-03-05 23:33:17
76阅读
本文是《Flink处理函数实战》系列的第三篇，内容是学习以下两个窗口相关的处理函数：ProcessAllWindowFunction：处理每个窗口内的所有元素；ProcessWindowFunction：处理指定key的每个窗口内的所有元素；前文链接《深入了解ProcessFunction的状态操作(Flink-1.10)》《Flink处理函数实战之一：ProcessFunction类》《Flin
转载
2024-08-26 20:46:55
48阅读
ProcessFunction API（底层 API） DataStream API 提供了一系列的 Low-Level 转换算子。可以访问时间戳、watermark 以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。Process Function 用来构建事件驱动的应用以及实现自定义的 ...
转载
2021-09-09 21:35:00
292阅读
2评论
Flink 窗口函数的处理
原创
2022-12-18 00:02:15
201阅读
处理函数ProcessFunction的用法
原创
2022-12-24 00:48:39
208阅读
1.前言 本文主要基于实践过程中遇到的一系列问题，来详细说明Flink的状态后端是什么样的执行机制，以理解自定义函数应该怎么写比较合理，避免踩坑。 内容是基于Flink SQL的使用，主要说明自定义聚合函数的一些性能问题，状态后端是rocksdb。2.Flink State https://ci.apache.org/projects/flink/flink-docs-release-1.1
转载
2024-02-29 14:49:24
188阅读
一，概述 Flink 的AggregateFunction是一个基于中间计算结果状态进行增量计算的函数。由于是迭代计算方式，所以，在窗口处理过程中，不用缓存整个窗口的数据，所以效率执行比较高。二，AggregateFunction接口类输入类型（IN），累加器类型（ACC）和输出类型（OUT）。@PublicEvolving
public interface
转载
2024-04-29 23:09:19
66阅读
Flink必备 | Stateful Function介绍 Flink将Stateful Function放在这样的位置，可想而知，有状态函数在Flink中地位可以说是相当重要，我们毫不夸张的说，它一定是Flink的核心。有状态的函数说到函数，很久以前，我们写的C语言程序里面就有函数的概念。我们使用函数可以进行输入输出数据处理。在C语言中，可以在函数中定义一种static
转载
2024-04-14 13:31:27
42阅读
Stateful Functions 2.0 基于Apache Flink的事件驱动数据库应用流式处理的事件驱动应用替换CRUD数据库应用2020-4-7, Apache Flink 团队，宣布了Stateful Functions (StateFun) 2.0正式发布--Stateful Functions第一次作为Apache Flink项目一部分的发布。这是个巨大的里程碑: Stateful
转载
2024-03-29 20:48:54
64阅读
编程模型此章编程模型是重点，理解Flink是如何工作的。虽然不涉及代码但非常有必要花时间阅读(2-4)节为重点1 层次抽象(Levels of Abstraction)从底向上，抽象程都由低到高，以下说明了解以下即可。最低层次的抽象仅仅提供了有状态的流。它通过流程函数嵌入到DataStream API中。它允许用户自由处理来自一个或多个流的事件，并使用一致的容错状态。此外，用户可以注册事件时间和处
转载
2024-05-11 22:42:21
34阅读
本文会主要讲三种udf：ScalarFunctionTableFunctionAggregateFunction 用户自定义函数是非常重要的一个特征，因为他极大地扩展了查询的表达能力。本文除了介绍这三种udf之外，最后会介绍一个redis作为交互数据源的udf案例。注册用户自定义函数 在大多数场景下，用户自定义函数在使用之前是必须要注册的。对于Sc
转载
2024-04-02 09:51:41
127阅读
Implementing Stateful Functionssource function的stateful看官网，要加lockDeclaring Keyed State at the RuntimeContextstate可通过 rich functions 、Listcheckpoint和CheckpointFunction获得。在Flink中，当对某个数据进行处理时，从上下文中获取stat
转载
2024-03-26 12:05:07
84阅读
前言 Flink Table 和 SQL 内置了很多 SQL 中支持的函数；如果有无法满足的需要，则可以实现用户自定义的函数（UDF）来解决。一、系统内置函数 Flink Table API 和 SQL 为用
转载
2024-03-22 08:54:51
38阅读
ProcessFunction基本处理函数处理函数的功能和使用ProcessFunction 解析处理函数的分类按键分区处理函数（KeyedProcessFunction）定时器（Timer）和定时服务（TimerService）KeyedProcessFunction 的使用窗口处理函数窗口处理函数的使用ProcessWindowFunction 解析使用 KeyedProcessFuncti
转载
2024-03-26 16:19:40
111阅读
一、基本处理函数处理函数主要是定义数据流的转换操作，所以也可以把它归到转换算子中。我们知道在Flink中几乎所有转换算子都提供了对应的函数类接口，处理函数也不例外；它所对应的函数类，就叫作ProcessFunction。1.处理函数的功能和使用之前学习的转换算子，一般只是针对某种具体操作来定义的，能够拿到的信息比较有限。比如map算子，我们实现的MapFunction中，只能获取到当前的数据，定义
转载
2024-02-17 12:58:14
36阅读
Flink是流计算领域的事实标准，而Flink sql的广泛应用极大地推动了这一标准的确立。在mysql里我们可以很方便地通过show tables from db1 like '%a'直接从上百个库找出db1库a开头的表，但之前flink只支持show tables查出当前库的表，该如何改造呢？背景知识Flink sql运行流程标准的一条 flink sql 运行起来的流程如下：sql 解析阶段
转载
2024-01-03 22:07:16
74阅读
目录1.函数类（Function Classes） 补充小知识：静态内部类2.匿名函数（Lambda Functions）3.富函数（Rich Functions）1.函数类（Function Classes） Flink 暴露了所有 udf 函数的接口(实现方式为接口或者抽象类)。例如 M
转载
2024-04-09 09:11:36
107阅读
在Flink的时间与watermarks详解这篇文章中，阐述了Flink的时间与水位线的相关内容。你可能不禁要发问，该如何访问时间戳和水位线呢？首先通过普通的DataStream API是无法访问的，需要借助Flink提供的一个底层的API——Process Function。Process Function不仅能够访问时间戳与水位线，而且还可以注册在将来的某个特定时间触发的计时器(timers)
Process Function API（底层）Process Function API（底层）Keyed Process FunctionTimer Service和定时器（Timers）侧输出流（Side Output）Process Function API（底层）
原创
2022-04-27 21:31:42
518阅读
扩展Flink系列：自定义Source、map、flatMap、Sink Function
原创
2022-03-09 10:50:36
273阅读
