文章目录映射（map）过滤（filter）扁平映射（flatMap） 映射（map）map 是大家非常熟悉的大数据操作算子，主要用于将数据流中的数据进行转换，形成新的数据流。简单来说，就是一个“一一映射”，消费一个元素就产出一个元素需要基于 DataStrema 调用 map()方法就可以进行转换处理。方法需要传入的参数是接口 MapFunction 的实现；返回值类型还是 DataStream
转载
2024-04-27 20:14:07
36阅读
flink学习记录1：重要概念算子Operator：算子是数据转换的基本操作 所有的 Flink 程序都可以归纳为由三部分构成： Source、 Transformation 和 Sink。 ⚫ Source 表示“源算子”，负责读取数据源。 ⚫ Transformation 表示“转换算子”，利用各种算子进行处理加工。 ⚫ Sink 表示“下沉算子”，负责数据的输出。 除了 Source 读取数
转载
2024-03-16 02:58:14
56阅读
导读：数据仓库是公司数据发展到一定规模后必然需要提供的一种基础服务，也是“数据智能”建设的基础环节。迅速获取数据反馈不仅有利于改善产品及用户体验，更有利于公司的科学决策，因此获取数据的实时性尤为重要。目前企业的数仓建设大多是离线一套，实时一套。业务要求低延时的使用实时数仓；业务复杂的使用离线数仓。架构十分复杂，需要使用很多系统和计算框架，这就要求企业储备多方面的人才，导致人才成本较高，且出了问题难
转载
2024-05-13 07:42:51
0阅读
前言这篇是昨晚没写完的，今晚补全发出来。Flink算子链简介“为什么我的Flink作业Web UI中只显示出了一个框，并且Records Sent和Records Received指标都是0？是我的程序写得有问题吗？”笔者在Flink社区群里经常能看到类似这样的疑问。这种情况几乎都不是程序有问题，而是因为Flink的operator chain——即算子链机制导致的，即提交的作业的执行计划中，所有
转载
2024-07-24 13:11:16
33阅读
Flink核心API之DataStream(基础常用算子)(一）Flink核心API Flink中提供了4种不同层次的API，每种API在简洁和易表达之间有自己的权衡，适用于不同的场景。目前上面3个会用得比较多。低级API(Stateful Stream Processing)：提供了对时间和状态的细粒度控制，简洁性和易用性较差， 主要应用在一些复杂事件处理逻辑上。 核心API(DataStrea
转载
2024-07-03 20:03:29
180阅读
在flink中，相同 Task 的多个 Subtask 中，个别Subtask 接收到的数据量明显大于其他 Subtask 接收到的数据量，通过 Flink Web UI 可以精确地看到每个 Subtask 处理了多少数据，即可判断出 Flink 任务是否存在数据倾斜。通常，数据倾斜也会引起反压。keyBy 之前发生数据倾斜如果 keyBy 之前就存在数据倾斜，上游算子的某些实例可能处理的数据较多
转载
2024-02-17 12:58:23
194阅读
一、数据倾斜1、什么是数据倾斜？由于数据分布不均匀，造成数据大量的集中到一点，造成数据热点。数据倾斜原理目前我们所知道的大数据处理框架，比如 Flink、Spark、Hadoop 等之所以能处理高达千亿的数据，是因为这些框架都利用了分布式计算的思想，集群中多个计算节点并行，使得数据处理能力能得到线性扩展。在实际生产中 Flink 都是以集群的形式在运行，在运行的过程中包含了两类进程。其中 Task
转载
2024-03-01 15:05:55
38阅读
DataStream 常用算子（下）一、前言二、Reduce2.1 Java Lambda中的Reduce2.2 Flink中的Reduce2.3 Flink的数据源是对象集合三、Union四、Connect五、Split & Select六、结语 一、前言在上一篇博客，我总结了一些基础的算子，这些算子从功能上看属于映射、过滤和聚合的类型。本篇想介绍些归约功能的算子。还有学习一门新的技术
转载
2024-04-22 00:44:12
32阅读
1.前言时间：2020年11月29日在Flink中所有算子（如map，flatmap，reduce等等）都可以是有状态的。用Scala写起来会有一些骚操作，比如使用lazy定义descriptor等。但是这里暂时不会讲到，本文以Java API为主。有状态操作大致可以分为Key State（键控状态）和Operator State（算子状态），由于键控状态比较常用，本文会以键控状态为主进行总结。状
转载
2024-05-06 13:14:49
31阅读
什么是JOIN在《Apache Flink 漫谈系列 - SQL概览》中我对JOIN算子有过简单的介绍，这里我们以具体实例的方式让大家对JOIN算子加深印象。JOIN的本质是分别从N(N>=1)张表中获取不同的字段，进而得到最完整的记录行。比如我们有一个查询需求：在学生表(学号，姓名，性别)，课程表(课程号，课程名，学分)和成绩表(学号，课程号，分数)中查询所有学生的姓名，课程名和考试分数。
转载
2024-03-17 11:35:01
132阅读
聊什么在《Apache Flink 漫谈系列 - SQL概览》中我们介绍了JOIN算子的语义和基本的使用方式，介绍过程中大家发现Apache Flink在语法语义上是遵循ANSI-SQL标准的，那么再深思一下传统数据库为啥需要有JOIN算子呢？在实现原理上面Apache Flink内部实现和传统数据库有什么区别呢？本篇将详尽的为大家介绍传统数据库为什么需要JOIN算子，以及JOIN算子在Apach
转载
2024-03-23 12:52:32
156阅读
DataStream API （基础篇）注： 本文只涉及DataStream原因：随着大数据和流式计算需求的增长，处理实时数据流变得越来越重要。因此，DataStream由于其处理实时数据流的特性和能力，逐渐替代了DataSet成为了主流的数据处理方式。目录DataStream API （基础篇）前摘：一、执行环境1. 创建执行环境2. 执行模式3. 触发程序执行二、源算子（source）三、转换
转载
2024-06-22 06:03:48
75阅读
文章目录Operators概述DataStream TransformationsMapFlatMapFilterKeyByReduceWindowWindowAllWindow ApplyWindowReduceUnionWindow JoinInterval JoinWindow CoGroupConnectCoMap, CoFlatMapIteratePhysical Partitioni
转载
2024-03-29 21:07:00
63阅读
目录Flink DataStream API概述MapFlatMapFilterKeyByReduceWindowWindowAllWindowReduceIterativeStreamProcessFunction Flink DataStream API概述用户通过算子能将一个或多个 DataStream 转换成新的 DataStream，在应用程序中可以将多个数据转换算子合并成一个复杂的数
转载
2024-03-22 10:27:58
43阅读
文章目录基本概念和特点状态类型列表状态（ListState）联合列表状态（UnionListState）代码实现CheckpointedFunction 接口示例代码 从某种意义上说，算子状态是更底层的状态类型，因为它只针对当前算子并行任务有效，不需要考虑不同 key 的隔离。基本概念和特点算子状态（Operator State）就是一个算子并行实例上定义的状态，作用范围被限定为当前算子任务，与
转载
2024-03-19 22:44:44
54阅读
目录引言算子状态和键控状态算子状态测试代码键控状态测试代码状态数据结构介绍状态后端可用的状态后端类型状态后端的配置代码HashMapStateBackend 状态后端EmbeddedRocksDBStateBackend 状态后端 引言flink 提供了内置的状态淑君管理机制，包括故障发生后的状态一致性维护、以及状态数据的高效存储和访问。用户不用担心状态数据在程序失败及恢复时所引入的一系列问题，
转载
2024-03-26 18:18:28
130阅读
Flink状态管理flink中的状态由一个任务维护，并且用来计算某个结果的所有数据，都属于这个任务的状态。可以认为状态就是一个本地变量，可以被任务的业务逻辑访问Flink 会进行状态管理，包括状态一致性，故障处理以及高效存储和访问，以便开发人员可以专注于应用程序的逻辑。在flink中，状态始终与特定算子相关联为了使运行时的flink了解算子的状态，算子需要预先注册其状态。总的来说有两种类型的状态：
转载
2024-03-15 08:05:35
43阅读
大家好，我是老兵。Flink基于流编程模型，内置了很多强大功能的算子，可以帮助我们快速开发应用程序。作为Flink开发老手，大多算子的写法和场景想来已是了然于胸，但是使用过程常常会有一些小小的问题:部分算子长时间未用，忘了用法。。某些场景选择什么算子？如何选择？含糊不清。。工欲善其事，必先利其器！快速高效的使用合适的算子开发程序，往往可以达到事半功倍的效果。想着好记性不如烂笔头这个道理，特此整理一
转载
2024-06-11 13:25:01
125阅读
1、Map [DataStream->DataStream]（1）说明调用用户定义的MapFunction对DataStream[T]数据进行处理，形成新的Data-Stream[T]，其中数据格式可能会发生变化，常用作对数据集内数据的清洗和转换。例如将输入数据集中的每个数值全部加 1 处理，并且将数据输出到下游数据集2、FlatMap [DataStream->DataStream]
转载
2024-03-24 15:44:20
65阅读
1. flink 状态管理包含哪些？Flink 会进行状态管理，包括状态一致性、故障处理以及高效存储和访问，以便开发人员可以专注于应用程序的逻辑。2. flink 状态的类型？算子状态(Operator State) 算子状态的作用范围限定为算子任务键控状态(Keyed State) 根据输入数据流中定义的键(key) 来维护和访问3. 算子状态的特点？算子状态的作用范围限定为算子任务，由同一并行
转载
2024-01-27 21:54:59
53阅读
