去重计算应该是数据分析业务里面常见的指标计算，例如网站一天的访问用户数、广告的点击用户数等等，离线计算是一个全量、一次性计算的过程通常可以通过distinct的方式得到去重结果，而实时计算是一种增量、长期计算过程，我们在面对不同的场景，例如数据量的大小、计算结果精准度要求等可以使用不同的方案。此篇介绍如何通过编码方式实现精确去重，以一个实际场景为例：计算每个广告每小时的点击用户数，广告点击日志包含
转载
2024-04-25 09:51:56
366阅读
flink 乱序数据处理对于乱序数据，flink window 可以延迟一定的时间来进行触发（设置乱序延迟时间）和窗口触发后相较于当前窗口的最大数据时间，允许当前输入数据迟到一定时间可正常纳入到上一个窗口(设置允许迟到时间),从而规避一定程度的乱序数据影响。BoundedOutOfOrderness 乱序时间如下：如图蓝色窗口大小为10s, 没有设置乱序延迟时间，其中数据类型为Tuple2<
转载
2024-02-29 23:48:12
72阅读
本章主要针对Flink Time中的Event Time、Ingestion Time、Processing Time以及Watermark进行详细讲解。
1 TimeStream数据中的Time（时间）分为以下3种。Event Time：事件产生的时间，它通常由事件中的时间戳描述。Ingestion Time：事件进入Flink的时间。Processing Time：事件被处理时当前系统的时间。
原创
2022-03-25 14:48:20
2392阅读
作者 | Fabian Hueske and Vasiliki Kalavri Apache Flink是一个开源的分布式流处理引擎，为有状态数据流处理应用程序提供了丰富的api接口，以实现各种简单或复杂的计算功能。不仅如此，它能够高效地支持大规模有状态流应用程序运行，并保证了程序的容错性，在这一点上会比其他的流式计算引擎凸显
这里阐述一下Flink中 window间的数据倾斜的解决思路，不做代码展现。场景： 分项目统计某个时间粒度的 pv 数据数据情况： 每个项目的数据量不同，某个项目的数据量很大，导致这个项目的窗口中的数据很大，发生倾斜。解决思路：思路一： 针对window原始方式中在窗口触发前，是以数据积攒的方式进行的。所以针对这种方式可
转载
2024-05-06 15:13:00
146阅读
文章目录01 基本概念02 工作原理03 优势与劣势04 核心组件05 Watermark 生成器 使用06 应用场景07 注意事项08 案例分析8.1 窗口统计数据不准8.2 水印是如何解决延迟与乱序问题？8.3 详细分析09 项目实战demo9.1 pom依赖9.2 log4j2.properties配置9.3 Watermark水印作业 01 基本概念Watermark 是用于处理事件时间
问题描述近期业务反馈， 开启了 mini-batch 之后， 出现了数据不准的情况， 关掉了 mini-batch 之后， 就正常了， 因此业务方怀疑，是不是 Flink 的 mini-batch 存在 bug ？问题排查初步分析mini-batch 已经在内部大规模使用， 目前没有发现一例和开启 mini-batch 有关， 同时 mini-batch 本质只是将数据进行攒批然后计算， 并没有修
转载
2023-12-20 06:09:38
126阅读
大数据-SparkStreaming（一）SparkStreaming简介SparkStreaming是对于Spark核心API的拓展，从而支持对于实时数据流的可拓展，高吞吐量和
转载
2023-12-21 17:54:17
84阅读
1.最近在用spark读写parquet文件，流程主要是把一个其他格式的大文件(行有序)转成parquet文件，这个parquet实际是包含很多子文件parquet的．然后再用spark读parquet，结果发现行的顺序错乱了．于是检查问题发生的原因．首先说下这边说的顺序主要是说 行顺序．而且这个顺序错乱指的是 子文件间的相对顺序错乱，在单个子文件中的顺序还是不会变的（如果单个子文件没有被进一步拆
转载
2023-11-20 14:25:32
96阅读
什么是JOIN在《Apache Flink 漫谈系列 - SQL概览》中我对JOIN算子有过简单的介绍，这里我们以具体实例的方式让大家对JOIN算子加深印象。JOIN的本质是分别从N(N>=1)张表中获取不同的字段，进而得到最完整的记录行。比如我们有一个查询需求：在学生表(学号，姓名，性别)，课程表(课程号，课程名，学分)和成绩表(学号，课程号，分数)中查询所有学生的姓名，课程名和考试分数。
转载
2024-03-17 11:35:01
132阅读
Flink 流处理API1 Environment1.1 getExecutionEnvironment创建一个执行环境，表示当前执行程序的上下文。如果程序是独立调用的，则 此方法返回本地执行环境；如果从命令行客户端调用程序以提交到集群，则此方法 返回此集群的执行环境，也就是说，getExecutionEnvironment 会根据查询运行的方 式决定返回什么样的运行环境，是最常用的一种创建执行环
转载
2024-08-13 15:01:43
46阅读
Flink学习笔记-窗口触发和乱序处理Flink窗口函数触发机制out-of-order数据处理通常来讲，由于各种原因，包含但不限于网络、背压，外部系统因素等，事件数据往往不能够及时传输到Flink系统中进行计算，因此，在开启EventTime的前提下，flink提供了一种依据watermark机制结合window来实现对乱序数据的处理的方式。Flink窗口函数触发机制首先，flink窗口...
原创
2021-05-25 09:08:47
1297阅读
在实际的业务中,我们经常会遇到数据迟到的情况,这个时候基于窗口进行计算的结果就不对了,Flink中watermark就是为了解决这个问题的,理解watermark之前,先...
转载
2021-06-10 19:51:44
340阅读
在实际的业务中,我们经常会遇到数据迟到的情况,这个时候基于窗口进行计算的结果就不对了,Flink中watermark就是为了解决这个问题的,理解watermark之前,先...
转载
2021-06-10 20:15:27
601阅读
目录1、三种Time1.1、比较 1.2、根据业务选择最合适的时间1.3、设置time类型2、时间戳和水位线背后的机制2.1 Watermarks是干啥的2.2有序流中Watermarks2.3乱序流中Watermarks2.4并行流中的Watermarks3.生成Timestamp和Watermark3.1 Timestamp /Watermark两种生成方式3.1.1 方式一、直接在
转载
2024-04-10 11:34:24
829阅读
1. 相关概念 在实际的业务中，我们经常会遇到数据迟到的情况，这个时候基于窗口进行计算的结果就不对了，Flink中watermark就是为了解决这个问题的，理解watermark之前，先来说一下flink中的三个与流数据相关的概念，ProcessTime、EventTime、IngestionTim
转载
2020-08-22 12:09:00
176阅读
2评论
一、流式计算的未来在谷歌发表了 GFS、BigTable、Google MapReduce 三篇论文后.....
转载
2022-09-28 13:56:26
226阅读
乱序数据处理是一个头疼的事儿，但 Flink 不慌
原创
2021-09-01 13:59:33
99阅读
# Python中的乱序数：深入理解与应用
在数据处理和统计分析中，乱序数（或称为随机数）是一个非常重要的概念。Python作为一种高效的编程语言，为我们提供了生成随机数的强大工具。在本文中，我们将探索Python中乱序数的生成及其应用，并通过示例代码来加深理解。
## 1. 什么是乱序数？
乱序数是指那些在一定范围内随机生成的数。这些数没有特定的顺序，具有偶然性。乱序数的广泛应用包括游戏开
原创
2024-08-17 05:17:35
36阅读
flink cdc原理与使用1 cdc 介绍1.1 cdc简介与对比1.2 基于日志的 CDC 方案介绍2 基于 Flink SQL CDC 的数据同步方案实践2.1 案例 1 : Flink SQL CDC + JDBC Connector2.2 案例 2 : CDC Streaming ETL2.3 案例 3 : Streaming Changes to Kafka3 Flink SQL C
