前言 终于忙完了四门专业课的期末，确实挺累啊。今天开始继续学习 Flink ，接着上次的内容。1、窗口 之前我们已经了解了 Flink 中基本的聚合操作。在流处理中，我们往往需要面对的是连续不断、无休无止的无界流，不可能等到所有所有数据都到齐了才开始处
转载
2024-07-24 13:10:06
137阅读
文章目录定时器（Timer）和定时服务（TimerService）KeyedProcessFunction 的使用 在 Flink 程序中，为了实现数据的聚合统计，或者开窗计算之类的功能，我们一般都要先用 keyBy 算子对数据流进行“按键分区”，得到一个 KeyedStream。也就是指定一个键（key），按照它的哈希值（hash code）将数据分成不同的“组”，然后分配到不同的并行子任务上
转载
2024-02-27 14:25:13
173阅读
序本文主要研究一下flink KeyedStream的reduce操作实例@Test
public void testWordCount() throws Exception {
// Checking input parameters
// final ParameterTool params = ParameterTool.fromArgs(args);
转载
2024-04-24 15:26:46
39阅读
Flink为流处理和批处理分别提供了Stream API和Batch API， 正是这种高层的抽象极大便利了用户编写大数据应用。 Flink目前支持的主要的流的类型及其流之间的转换关系 DataStream: 是Flink 流处理API中最核心的数据结构，代表了一个运行在多个分区上的并行流 一个DataStream从StreamExecutionEnvironment通过env.addSource
转载
2024-02-18 20:43:15
111阅读
Windows是处理无限流的核心。Windows将流分成有限大小的“存储桶”，我们可以在其上应用计算。本文档重点介绍如何在Flink中执行窗口化，以及程序员如何从其提供的功能中获得最大收益。窗口式Flink程序的一般结构如下所示。第一个片段指的是键控流，而第二个片段指的是非键控流。正如人们所看到的，唯一的区别是keyBy(...)呼吁密钥流和window(...)成为windowAll(...)非
转载
2024-04-23 18:07:44
50阅读
一、processionFunctionAPI产生背景（1）背景：转换算子是无法访问事件的时间戳信息和水位线信息的。例如MapFunction这样的map转换算子就无法访问时间戳或者当前事件的事件时间。这样的算子和函数能够进行一些时间上的操作，但是不能获取算子当前的Processing Time或者是Watermark时间戳，调用起来简单但功能相对受限。flink提供Process Functio
分区：分区（Partitioning）是将数据流划分为多个子集，这些子集可以在不同的任务实例上进行处理，以实现数据的并行处理。 数据具体去往哪个分区，是通过指定的 key 值先进行一次 hash 再进行一次 murmurHash，通过上述计算得到的值再与并行度进行相应的计算得到。 分组：分组（Grouping）是将具有相同键值的数据元素归类到一起，以便进行后续操作（如聚合、窗口计算等）。 key值
转载
2024-07-30 10:25:14
112阅读
分析&回答（1）设计理念 1、Spark的技术理念是使用微批来模拟流的计算,基于Micro-batch,数据流以时间为单位被切分为一个个批次,通过分布式数据集RDD进行批量处理,是一种伪实时。 2、Flink是基于事件驱动的，是面向流的处理框架, Flink基于每个事件一行一行地流式处理，是真正的流式计算. 另外他也可以基于流来模拟批进行计算实现批处理。（2）架构方面 1、Spark
转载
2024-07-03 16:35:55
21阅读
关于 join 的测试flink：1.17.1Flink Sql 提供了多种的 Join 类型，以应对各种业务场景，每种 Join 都有其固定的语法及局限性。本篇先介绍 Regular Joins 和 Interval Joinsjoin 类型Regular JoinsInterval JoinsTemporal JoinsLookup JoinArray ExpansionTable Funct
前面一篇写了flink的原理以及单机安装配置，这篇主要讲Flink 的java API学习。今天想起了上周看到的MIT校训Mind and Hand，可以作为时刻提醒自己的语句，可以作为警醒自己的语句。心有多大，舞台就有多大。1. DataStream1.1 keyBy逻辑上将数据流元素进行分区，具有相同key的记录被分到同一个分区 KeyedStream<String,Tu
转载
2024-07-07 09:38:13
90阅读
物理分区 随机分区（shuffle） 轮询分区（Round-Robin） 重缩放分区（rescale）&n
转载
2024-02-26 09:51:58
523阅读
大家好，我是大圣，很高兴又和大家见面。今天我们来探究一下 Flink 使用 keyBy 算子的时候到底发生了什么，看完这篇文章，你会豁然开朗。keyBy 算子基本知识keyBy 会发生什么专业解释keyBy 使得相同key 的数据会进入同一个并行子任务，每一个子任务可以处理多个不同的key。这样使数据保证了有序性，并且每个子任务直接相互隔离。我们确保了相同键的数据在逻辑上是有序的。即使在高度并行的
转载
2024-08-28 10:47:22
100阅读
本篇终于到了Flink的核心内容：时间与水印。最初接触这个概念是在Spark Structured Streaming中，一直无法理解水印的作用。直到使用了一段时间Flink之后，对实时流处理有了一定的理解，才想清楚其中的缘由。接下来就来介绍下Flink中的时间和水印，以及基于时间特性支持的窗口处理。1 时间和水印1.1 介绍Flink支持不同的时间类型：事件时间：事件发生的时间，是设备生产或存储
转载
2024-09-12 15:00:44
32阅读
微博机器学习平台使用 Flink 实时处理用户行为日志和生成标签，并且在生成标签后写入存储系统。为了降低存储系统的 IO 负载，有批量写入的需求，同时对数据延迟也需要进行一定的控制，因此需要一种有效的消息聚合处理方案。在本篇文章中我们将详细介绍 Flink 中对消息进行聚合处理的方案，描述不同方案中可能遇到的问题和解决方法，并进行对比。基于 flatMap 的解决方案这是我们能够想到最直观的解决方
转载
2024-03-24 13:44:21
122阅读
需知我们之前学习的转换算子是无法访问事件的时间戳信息和水位线信息的。而这 在一些应用场景下，极为重要。 例如 MapFunction 这样的 map 转换算子就无法访问时间戳或者当前事件的事件时间。 基于此，DataStream API 提供了一系列的 Low-Level 转换算子。可以访问时间戳、watermark 以及注册定时事件。还可以输出特定的一些事件，例如超时事件等。 Process F
转载
2024-06-09 08:46:40
37阅读
Fink时间语义给定一个时间窗口，比如一个小时，统计时间窗口内的数据指标。如何界定哪些数据进入窗口？怎么定义这个时间？Flink提供了3种时间语义。Event Time：指数据流种每个元素或事件自带的事件属性，一般指事件发生事件。由于事件从发生到进入Flink算子之间有很多环节，使用Event Time意味着事件到达有可能是乱序的，没办法确定要等多长时间所有的事件是才能都到达，需要结合Waterm
转载
2024-07-03 16:35:17
34阅读
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章 &nbs
转载
2024-02-29 10:49:14
57阅读
flink-keyby调研keyby的原理Flink中的keyBy操作是用于根据指定的键将数据流进行哈希分区的操作。它将具有相同键的元素路由到同一个并行处理任务中，这样可以实现基于键的聚合、分组和窗口操作当应用程序执行KeyBy操作时，Flink会根据指定的键对输入流的每个元素进行键提取操作，从而获取键值。然后，Flink使用哈希函数对键值进行哈希计算，得到一个哈希值。哈希值决定了元素将被分配到哪
转载
2023-10-05 23:24:10
162阅读
Flink 认为 Batch 是 Streaming 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Flink 提供了非常完善的窗口机制。什么是window在流式数据中，数据是连续的。有时我们需要根据业务做一些聚合类的操作，例如过去五分钟内用户浏览量的计算。这五分钟就是一个窗口。 窗口
转载
2024-03-18 08:56:56
4阅读
概述 window可以将flink处理的无限stream流切分成有限流，进行时间段内数据的计算，它是有限流处理的核心组件。window对流的切分可以是基于时间的（Time Window），也可以是基于数据的（Count Window）。主要的操作如下：注：例子中的kafkaSource是一个DataStream对象keyed windows operator[外链图片转存失败,源站可能有防盗链机制
转载
2024-03-07 18:38:27
76阅读
