Flink精准去重概述为啥需要去重
在某些情况下，由于上游的作业不是端到端的exactly-once，在上游出现问题自动failover的时候，该任务的sink端很大可能出现重复数据；这些重复数据又会影响下游的聚合作业（如SUM，COUNT）。所以，我们的作业需要去重完再进行计算去重方法
TopN（Flink官网推荐的方式）Group ByUDTF（维表去重）各自优缺点
前两者纯
转载
2023-12-07 16:49:46
173阅读
一、需求分析 订单场景，订单状态分为// WHEN oms_order.order_state = 11 THEN '待支付'
// WHEN oms_order.order_state = 12 THEN '订购成功'
// WHEN oms_order.order_state = 21 THEN '订单已提交到厂家'
//
转载
2024-07-19 21:35:24
92阅读
本课时我们主要讲解 Flink 中的海量数据高效去重。消除重复数据是我们在实际业务中经常遇到的一类问题。在大数据领域，重复数据的删除有助于减少存储所需要的存储容量。而且在一些特定的业务场景中，重复数据是不可接受的，例如，精确统计网站一天的用户数量、在事实表中统计每天发出的快递包裹数量。在传统的离线计算中，我们可以直接用 SQL 通过 DISTINCT 函数，或者数据量继续增加时会用到类似 MapR
转载
2023-11-11 23:57:32
235阅读
一、flink Exactly-Once与At-Least-Once关于消息的消费、处理语义可以分为三类：
1. at most once : 至多一次，表示一条消息不管后续处理成功与否只会被消费处理一次，那么就存在数据丢失可能
2\. exactly once : 精确一次，表示一条消息从其消费到后续的处理成功，只会发生一次
3\. at least once ：至少一
转载
2024-03-05 04:02:45
163阅读
## Flink与HBase：去重的实现
### 引言
在大数据处理中，去重是一个常见且重要的需求。当处理大规模数据集时，我们经常会遇到重复的数据记录，这些重复数据不仅会占用存储空间，还会影响后续的分析结果。因此，如何高效地进行去重操作就成为了一个关键问题。
Flink是一个流式处理框架，而HBase是一个分布式的非关系型数据库。结合Flink和HBase可以实现高效的去重操作，本文将介绍如
原创
2023-11-29 05:32:15
110阅读
在处理实时数据流的场景中，使用 Apache Flink 结合 Redis 进行去重是一种有效的解决方案。但是，在这个过程中，要考虑到备份策略、恢复流程、可能的灾难场景，以及监控和预防措施等各方面因素。下面我将详细阐述实现 Flink Redis 去重的过程。
## 备份策略
为了确保去重操作的数据安全性，首先需要建立一个可靠的备份策略。下面是我们的备份流程图：
```mermaid
flo
目录（一）Hash（二）BitMap（三）BitSet（四）BloomFilter（五）Flink（一）Hash哈希表是一种基本的数据结构，其思想是利用Hash函数来支持快速的【插入和搜索】，这是哈希表的第一个重要概念。本文从哈希表开始说起，是为数据去重问题提供最原始的思路。该模块不涉及任何复杂算法，或者是Java中的实现方法，仅从最简单的角度进行讲解，便于初学者快速理解。既然说起了【插入和搜索】
转载
2024-07-03 16:35:47
0阅读
基于传统的Set方法去重，以及弊端去重处理方法：需要一个全局 set集合来维护历史所有数据的主键。当处理新日志时，需要拿到当前日志的主键与历史数据的 set 集合按照规则进行比较，若 set集合中已经包含了当前日志的主键，说明当前日志在之前已经被处理过了，则当前日志应该被过滤掉，否则认为当前日志不应该被过滤应该被处理，而且处理完成后需要将新日志的主键加入到set 集合中，set 集合永远存放着所有
转载
2023-12-19 17:46:13
135阅读
Window(窗口)Flink 认为 批处理 是 流处理 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而Window就是从 流处理 到 批处理 的一个桥梁。
通常来讲，Window是一种可以把无界数据切割为有界数据块的手段例如，对流中的所有元素进行计数是不可能的，因为通常流是无限的(无界的)。所以，流上的聚合需要由 Window 来划定范围，比如 “计算过去5
转载
2024-07-03 14:03:08
12阅读
摘要：本文作者刘杰，介绍了顺丰科技数仓的架构，趟过的一些问题、使用 Hudi 来优化整个 job 状态的实践细节，以及未来的一些规划。主要内容为：数仓架构Hudi 代码躺过的坑状态优化未来规划顺丰科技早在 2019 年引入 Hudi ,当时是基于 Spark 批处理，2020 年对数据的实时性要求更高公司对架构进行了升级，在社区 Hudi on Flink 的半成品上持续优化实现 Binlog 数
转载
2024-05-28 19:25:23
93阅读
声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。《2021年最新版大数据面试题全面开启更新》HyperLogLog算法 也就是基数估计统计算法，预估一个集合中不同数据的个数，也就是我们常说的去重统计，在redis中也存在hyperloglog 类型的结构，
转载
2021-08-31 10:49:52
940阅读
有状态计算场景 什么场景会用到状态呢，下面列举了常见的 4 种： 去重（Distinct）：比如上游的系统数据可能会有重复，落到下游系统时希望把重复的数据都去掉。去重需要先了解哪些数据来过，哪些数据还没有来，也就是把所有的主键都记录下来，当一条数据到来后，能够看到在主键当中是否存在。 窗口计算（Window）：比如统计每分钟 Nginx 日志 API 被访问了多少次。窗口是一分钟计算一次，在窗
转载
2024-03-20 10:28:52
289阅读
HyperLogLog算法 也就是基数估计统计算法，预估一个集合中不同数据的个数，也就是我们常说的去重统计，在redis中也存在hyperloglog 类型的结构，能够使用12k的内存，允许误差在0.81%的情况下统计2^64个数据，在这种大数据量情况下能够减少存储空间的消耗，但是前提是允许存在一定的误差。关于HyperLogLog算法原理可以参考这篇文章：https://www.jianshu.
原创
2021-02-05 20:47:09
2319阅读
flink 利用 redis 去重对于每一条待处理的 record，根据算法计算其唯一key： key = getMessageKey(record);如果 key 不存在，设置key值=0和超时. redis 保证 se
原创
2023-01-11 11:23:19
282阅读
Flink入门到放弃简介快速上手准备pom.xmllog4j.properties配置idea, 运行的时候包括provided scope批处理wordCount流处理wordCount有界无界运行模式部署开发模式local-cluster模式运行无界WordCount停止集群Standalone模式运行无界WordCountStandalone高可用(HA)配置启动Yarn模式Session
文章目录一. 重启策略种类（Restart Strategies）1. Fixed Delay Restart Strategy2. Failure Rate Restart Strategy3. Fallback Restart Strategy4. No Restart Strategy二. 故障恢复策略（Failover Strategies）1. （全图恢复策略）Restart All
简介Apache Flink提供了一种容错机制，可以持续恢复数据流应用程序的状态。该机制确保即使出现故障，经过恢复，程序的状态也会回到以前的状态。Flink 主持 at least once 语义 和 exactly once 语义Flink 通过定期地做 checkpoint 来实现容错 和 恢复, 容错机制不断地生成数据流的快照, 而不会对性能产生太大的影响。流应用程序的状态存储在一个可配置的
转载
2024-05-06 12:54:41
87阅读
在前面提到的精确去重方案都是会保存全量的数据，但是这种方式是以牺牲存储为代价的，而hyperloglog方式虽然减少了存储但是损失了精度，那么如何能够做到精确去重又能不消耗太多的存储呢，这篇主要讲解如何使用bitmap做精确去重。ID-mapping在使用bitmap去重需要将去重的id转换为一串数字，但是我们去重的通常是一串包含字符的字符串例如设备ID，那么第一步需要将字符串转换为数字，首先可能
原创
2021-02-05 20:45:12
3185阅读
去重计算应该是数据分析业务里面常见的指标计算，例如网站一天的访问用户数、广告的点击用户数等等，离线计算是一个全量、一次性计算的过程通常可以通过distinct的方式得到去重结果，而实时计算是一种增量、长期计算过程，我们在面对不同的场景，例如数据量的大小、计算结果精准度要求等可以使用不同的方案。此篇介绍如何通过编码方式实现精确去重，以一个实际场景为例：计算每个广告每小时的点击用户数，广告点击日志包含
原创
2021-02-05 20:49:33
1195阅读
声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。《2021年最新版大数据面试题全面开启更新》去重计算应该是数据分析业务里面常见的指标计算，例如网站一天的访问用户数、广告的点击用户数等等，离线计算是一个全量、一次性计算的过程通常可以通过distinct的方式得到去重结果
转载
2021-08-31 10:50:20
259阅读
