# 一个新手如何使用 Flink SQL Client 在 YARN 上以 Per-Job 方式提交任务
Apache Flink 是一个强大的数据处理框架，可以进行流式和批量数据处理。对于刚入行的小白，了解如何在 YARN 上提交 Flink SQL Job 是非常必要的。本文将通过具体步骤和代码示例，引导你完成 Flink SQL Client 的 YARN Per-Job 提交。
##
原创
2024-10-10 05:20:09
231阅读
问题回顾关于一段代码：object MySingleObj{
// 陷阱：
// 单例对象中一个是可变引用，一个是可变数组
var str:String = _
val list = new ListBuffer[String]
}...
dataStream
.map(new RichMapFunction(){
// 问题1：obj1 和 obj2 的实例方式有什么区别。
/
转载
2024-03-05 23:33:17
76阅读
本文是《Flink处理函数实战》系列的第三篇，内容是学习以下两个窗口相关的处理函数：ProcessAllWindowFunction：处理每个窗口内的所有元素；ProcessWindowFunction：处理指定key的每个窗口内的所有元素；前文链接《深入了解ProcessFunction的状态操作(Flink-1.10)》《Flink处理函数实战之一：ProcessFunction类》《Flin
转载
2024-08-26 20:46:55
48阅读
ProcessFunction API（底层 API） DataStream API 提供了一系列的 Low-Level 转换算子。可以访问时间戳、watermark 以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。Process Function 用来构建事件驱动的应用以及实现自定义的 ...
转载
2021-09-09 21:35:00
292阅读
2评论
Flink 窗口函数的处理
原创
2022-12-18 00:02:15
201阅读
处理函数ProcessFunction的用法
原创
2022-12-24 00:48:39
206阅读
1.前言 本文主要基于实践过程中遇到的一系列问题，来详细说明Flink的状态后端是什么样的执行机制，以理解自定义函数应该怎么写比较合理，避免踩坑。 内容是基于Flink SQL的使用，主要说明自定义聚合函数的一些性能问题，状态后端是rocksdb。2.Flink State https://ci.apache.org/projects/flink/flink-docs-release-1.1
转载
2024-02-29 14:49:24
188阅读
# Flink SQL 与 MySQL 集成指南
Apache Flink 是一个开源的分布式处理框架，用于大规模数据流处理和事件驱动应用。Flink SQL 是 Flink 提供的一种声明式 SQL 接口，用于简化流处理和批处理任务的编写。本文将介绍如何将 Flink SQL 客户端与 MySQL 数据库进行集成，实现数据的读写操作。
## 环境准备
在开始之前，请确保你已经安装了以下组件
原创
2024-07-16 09:20:09
122阅读
一，概述 Flink 的AggregateFunction是一个基于中间计算结果状态进行增量计算的函数。由于是迭代计算方式，所以，在窗口处理过程中，不用缓存整个窗口的数据，所以效率执行比较高。二，AggregateFunction接口类输入类型（IN），累加器类型（ACC）和输出类型（OUT）。@PublicEvolving
public interface
转载
2024-04-29 23:09:19
66阅读
Flink必备 | Stateful Function介绍 Flink将Stateful Function放在这样的位置，可想而知，有状态函数在Flink中地位可以说是相当重要，我们毫不夸张的说，它一定是Flink的核心。有状态的函数说到函数，很久以前，我们写的C语言程序里面就有函数的概念。我们使用函数可以进行输入输出数据处理。在C语言中，可以在函数中定义一种static
转载
2024-04-14 13:31:27
42阅读
# 使用 SqlClient 连接 MySQL 的步骤详解
如果你是一名刚入行的开发者，连接 MySQL 数据库可能会让你感到困惑。在这篇文章中，我们将讨论通过 `SqlClient` 连接 MySQL 的方法，并逐步介绍实现过程。
## 流程概览
以下是实现流程的简要步骤：
| 步骤编号 | 步骤描述 | 具体操作
原创
2024-10-13 04:05:24
66阅读
Stateful Functions 2.0 基于Apache Flink的事件驱动数据库应用流式处理的事件驱动应用替换CRUD数据库应用2020-4-7, Apache Flink 团队，宣布了Stateful Functions (StateFun) 2.0正式发布--Stateful Functions第一次作为Apache Flink项目一部分的发布。这是个巨大的里程碑: Stateful
转载
2024-03-29 20:48:54
64阅读
在js中，函数本身属于对象的一种，因此可以定义、赋值，作为对象的属性或者成为其他函数的参数。函数名只是函数这个对象类的引用。函数定义1 // 函数的三种创建方法(定义方式)
2 function one(){ // 函数声明语句，不属于任何对象，始终默认为全局对象
3 console.log("第一个函数")
4 //默认有一个
转载
2023-07-12 15:38:12
152阅读
前言 Flink Table 和 SQL 内置了很多 SQL 中支持的函数；如果有无法满足的需要，则可以实现用户自定义的函数（UDF）来解决。一、系统内置函数 Flink Table API 和 SQL 为用
转载
2024-03-22 08:54:51
38阅读
编程模型此章编程模型是重点，理解Flink是如何工作的。虽然不涉及代码但非常有必要花时间阅读(2-4)节为重点1 层次抽象(Levels of Abstraction)从底向上，抽象程都由低到高，以下说明了解以下即可。最低层次的抽象仅仅提供了有状态的流。它通过流程函数嵌入到DataStream API中。它允许用户自由处理来自一个或多个流的事件，并使用一致的容错状态。此外，用户可以注册事件时间和处
转载
2024-05-11 22:42:21
34阅读
本文会主要讲三种udf：ScalarFunctionTableFunctionAggregateFunction 用户自定义函数是非常重要的一个特征，因为他极大地扩展了查询的表达能力。本文除了介绍这三种udf之外，最后会介绍一个redis作为交互数据源的udf案例。注册用户自定义函数 在大多数场景下，用户自定义函数在使用之前是必须要注册的。对于Sc
转载
2024-04-02 09:51:41
127阅读
Implementing Stateful Functionssource function的stateful看官网，要加lockDeclaring Keyed State at the RuntimeContextstate可通过 rich functions 、Listcheckpoint和CheckpointFunction获得。在Flink中，当对某个数据进行处理时，从上下文中获取stat
转载
2024-03-26 12:05:07
84阅读
一、基本处理函数处理函数主要是定义数据流的转换操作，所以也可以把它归到转换算子中。我们知道在Flink中几乎所有转换算子都提供了对应的函数类接口，处理函数也不例外；它所对应的函数类，就叫作ProcessFunction。1.处理函数的功能和使用之前学习的转换算子，一般只是针对某种具体操作来定义的，能够拿到的信息比较有限。比如map算子，我们实现的MapFunction中，只能获取到当前的数据，定义
转载
2024-02-17 12:58:14
36阅读
ProcessFunction基本处理函数处理函数的功能和使用ProcessFunction 解析处理函数的分类按键分区处理函数（KeyedProcessFunction）定时器（Timer）和定时服务（TimerService）KeyedProcessFunction 的使用窗口处理函数窗口处理函数的使用ProcessWindowFunction 解析使用 KeyedProcessFuncti
转载
2024-03-26 16:19:40
111阅读
Linux是一种广泛使用的操作系统，它的强大之处在于其开放源代码的特性，使得用户可以自由地对系统进行定制和优化。在Linux系统中，函数是编程的基本单位，可以用于封装功能和使代码更具可读性。本文将介绍如何在Linux系统中创建和使用函数。
在Linux系统中，函数的创建十分简单。一个函数通常由函数名、参数列表和函数体组成。以下是一个例子：
```c
#include
// 函数声明
int
原创
2024-04-18 11:22:44
90阅读
