Flink处理函数 完整使用一、基本处理函数（ProcessFunction）1、处理函数的功能和使用1) 编码2、ProcessFunction解析1）源码2）抽象方法.processElement()3）非抽象方法.onTimer()3、处理函数的分类（1）ProcessFunction（2）`KeyedProcessFunction(重点)`（3）ProcessWindowFunction
转载
2024-08-10 19:29:28
101阅读
我们知道，窗口可以将无界流切割成大小有限的“桶”（bucket）来做计算，通过截取有限数据集来处理无限的流数据。在 DataStream API 中提供了对不同类型的窗口进行定义和处理的接口，而在 Table API 和 SQL 中，类似的功能也都可以实现。 1.窗口1.1分组窗口（Group Window，1.12版本之前）在 Flink 1.12 之前的版本中，Table
转载
2023-09-05 11:21:43
241阅读
滚动窗口意义 如果我们是wordcount的程序,随着数据的涌入累计相加,计算系统的压力会越来越来越大, 但是我们让我滚动窗口,每半个小时执行一次,只执行这半个小时之内的数据,而后直接采取上半 个小时累计的结果进行累计,这样计算压力会很小!节约资源提高效率例子 我们设置公交车10秒钟跑一趟,陆陆续续来的客户端输入的数据, 公交车来了,没人空跑一圈 不执行,相当于不显示, 公交车来了,站点有5个人就
转载
2024-03-21 12:44:30
111阅读
一、需求分析 订单场景，订单状态分为// WHEN oms_order.order_state = 11 THEN '待支付'
// WHEN oms_order.order_state = 12 THEN '订购成功'
// WHEN oms_order.order_state = 21 THEN '订单已提交到厂家'
//
转载
2024-07-19 21:35:24
92阅读
本课时我们主要讲解 Flink 中的海量数据高效去重。消除重复数据是我们在实际业务中经常遇到的一类问题。在大数据领域，重复数据的删除有助于减少存储所需要的存储容量。而且在一些特定的业务场景中，重复数据是不可接受的，例如，精确统计网站一天的用户数量、在事实表中统计每天发出的快递包裹数量。在传统的离线计算中，我们可以直接用 SQL 通过 DISTINCT 函数，或者数据量继续增加时会用到类似 MapR
转载
2023-11-11 23:57:32
235阅读
目录窗口分配器时间窗口计数窗口全局窗口窗口函数增量聚合函数全窗口函数（full window functions）增量聚合和全窗口函数的结合使用Window API 主要由两部分构成：窗口分配器（Window Assigners）和窗口函数（Window Functions）stream.keyBy(<key selector>)
.window(<window assigne
Flink精准去重概述为啥需要去重
在某些情况下，由于上游的作业不是端到端的exactly-once，在上游出现问题自动failover的时候，该任务的sink端很大可能出现重复数据；这些重复数据又会影响下游的聚合作业（如SUM，COUNT）。所以，我们的作业需要去重完再进行计算去重方法
TopN（Flink官网推荐的方式）Group ByUDTF（维表去重）各自优缺点
前两者纯
转载
2023-12-07 16:49:46
173阅读
一、Flink之Watermark在上一篇文章中我们介绍了窗口相关的内容，那么问题来了，假如我们实时处理蒸漂亮同学的行为，结果蒸漂亮恰好网络异常，本来我们窗口设置的5秒一算，而她刚才的行为恰巧属于上一个5秒窗口A计算的，但是网络异常后使得她的这次行为数据进入了到了下一个5秒B中计算。那么我们的计算是不是就存在了问题！！所以这时我们就需要去了解下咱们的Watermark了，当然为了理解的更清晰会再举
转载
2024-03-19 18:09:46
204阅读
一、说明时间语义，要配合窗口操作才能发挥作用。最主要的用途，当然就是开窗口然后根据时间段做计算了。Table API和SQL中，主要有两种窗口：分组窗口（Group Windows）和 含Over字句窗口（Over Windows）。二、Group Windows分组窗口（Group Windows）会根据时间或行计数间隔，将行聚合到有限的组（Group）中，并对每个组的数据执行一次聚合函数。Ta
函数(Functions)Flink Table API 和 SQL 为用户提供了一组用于数据转换的内置函数SQL 中支持的很多函数,Table API 和 SQL 都已经做了实现比较函数SQL:value1 = value2value1 > value2Table API:ANY1 === ANY2ANY1 > ANY2逻辑函数SQL:boolean1 OR boolean2bool
转载
2024-03-21 11:21:19
54阅读
1.Window概述streaming 流式计算是一种被设计用于处理无限数据集的数据处理引擎，而无限数据集是指一种不断增长的本质上无限的数据集，而window 是一种切割无限数据为有限块进行处理的手段。Window 是无限数据流处理的核心，Window 将一个无限的stream 拆分成有限大小的”buckets”桶，我们可以在这些桶上做计算操作。 2.Window类型Window 可以分
转载
2024-04-14 17:04:55
0阅读
在处理实时数据流的场景中，使用 Apache Flink 结合 Redis 进行去重是一种有效的解决方案。但是，在这个过程中，要考虑到备份策略、恢复流程、可能的灾难场景，以及监控和预防措施等各方面因素。下面我将详细阐述实现 Flink Redis 去重的过程。
## 备份策略
为了确保去重操作的数据安全性，首先需要建立一个可靠的备份策略。下面是我们的备份流程图：
```mermaid
flo
## Flink与HBase：去重的实现
### 引言
在大数据处理中，去重是一个常见且重要的需求。当处理大规模数据集时，我们经常会遇到重复的数据记录，这些重复数据不仅会占用存储空间，还会影响后续的分析结果。因此，如何高效地进行去重操作就成为了一个关键问题。
Flink是一个流式处理框架，而HBase是一个分布式的非关系型数据库。结合Flink和HBase可以实现高效的去重操作，本文将介绍如
原创
2023-11-29 05:32:15
110阅读
目录（一）Hash（二）BitMap（三）BitSet（四）BloomFilter（五）Flink（一）Hash哈希表是一种基本的数据结构，其思想是利用Hash函数来支持快速的【插入和搜索】，这是哈希表的第一个重要概念。本文从哈希表开始说起，是为数据去重问题提供最原始的思路。该模块不涉及任何复杂算法，或者是Java中的实现方法，仅从最简单的角度进行讲解，便于初学者快速理解。既然说起了【插入和搜索】
转载
2024-07-03 16:35:47
0阅读
基于传统的Set方法去重，以及弊端去重处理方法：需要一个全局 set集合来维护历史所有数据的主键。当处理新日志时，需要拿到当前日志的主键与历史数据的 set 集合按照规则进行比较，若 set集合中已经包含了当前日志的主键，说明当前日志在之前已经被处理过了，则当前日志应该被过滤掉，否则认为当前日志不应该被过滤应该被处理，而且处理完成后需要将新日志的主键加入到set 集合中，set 集合永远存放着所有
转载
2023-12-19 17:46:13
135阅读
Window(窗口)Flink 认为 批处理 是 流处理 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而Window就是从 流处理 到 批处理 的一个桥梁。
通常来讲，Window是一种可以把无界数据切割为有界数据块的手段例如，对流中的所有元素进行计数是不可能的，因为通常流是无限的(无界的)。所以，流上的聚合需要由 Window 来划定范围，比如 “计算过去5
转载
2024-07-03 14:03:08
12阅读
摘要：本文作者刘杰，介绍了顺丰科技数仓的架构，趟过的一些问题、使用 Hudi 来优化整个 job 状态的实践细节，以及未来的一些规划。主要内容为：数仓架构Hudi 代码躺过的坑状态优化未来规划顺丰科技早在 2019 年引入 Hudi ,当时是基于 Spark 批处理，2020 年对数据的实时性要求更高公司对架构进行了升级，在社区 Hudi on Flink 的半成品上持续优化实现 Binlog 数
转载
2024-05-28 19:25:23
93阅读
声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。《2021年最新版大数据面试题全面开启更新》HyperLogLog算法 也就是基数估计统计算法，预估一个集合中不同数据的个数，也就是我们常说的去重统计，在redis中也存在hyperloglog 类型的结构，
转载
2021-08-31 10:49:52
940阅读
有状态计算场景 什么场景会用到状态呢，下面列举了常见的 4 种： 去重（Distinct）：比如上游的系统数据可能会有重复，落到下游系统时希望把重复的数据都去掉。去重需要先了解哪些数据来过，哪些数据还没有来，也就是把所有的主键都记录下来，当一条数据到来后，能够看到在主键当中是否存在。 窗口计算（Window）：比如统计每分钟 Nginx 日志 API 被访问了多少次。窗口是一分钟计算一次，在窗
转载
2024-03-20 10:28:52
289阅读
HyperLogLog算法 也就是基数估计统计算法，预估一个集合中不同数据的个数，也就是我们常说的去重统计，在redis中也存在hyperloglog 类型的结构，能够使用12k的内存，允许误差在0.81%的情况下统计2^64个数据，在这种大数据量情况下能够减少存储空间的消耗，但是前提是允许存在一定的误差。关于HyperLogLog算法原理可以参考这篇文章：https://www.jianshu.
原创
2021-02-05 20:47:09
2319阅读
