一、需求分析 订单场景，订单状态分为// WHEN oms_order.order_state = 11 THEN '待支付'
// WHEN oms_order.order_state = 12 THEN '订购成功'
// WHEN oms_order.order_state = 21 THEN '订单已提交到厂家'
//
转载
2024-07-19 21:35:24
92阅读
本课时我们主要讲解 Flink 中的海量数据高效去重。消除重复数据是我们在实际业务中经常遇到的一类问题。在大数据领域，重复数据的删除有助于减少存储所需要的存储容量。而且在一些特定的业务场景中，重复数据是不可接受的，例如，精确统计网站一天的用户数量、在事实表中统计每天发出的快递包裹数量。在传统的离线计算中，我们可以直接用 SQL 通过 DISTINCT 函数，或者数据量继续增加时会用到类似 MapR
转载
2023-11-11 23:57:32
235阅读
Flink精准去重概述为啥需要去重
在某些情况下，由于上游的作业不是端到端的exactly-once，在上游出现问题自动failover的时候，该任务的sink端很大可能出现重复数据；这些重复数据又会影响下游的聚合作业（如SUM，COUNT）。所以，我们的作业需要去重完再进行计算去重方法
TopN（Flink官网推荐的方式）Group ByUDTF（维表去重）各自优缺点
前两者纯
转载
2023-12-07 16:49:46
173阅读
spark算子操作 创建RDD的本地文件 转换操作 map map操作是对RDD中的每个元素都执行一个指
转载
2023-12-13 22:28:14
39阅读
import org.apache.spark.{SparkConf, SparkContext}object Test6 { def main(args: Array[String=
原创
2023-02-02 10:10:01
82阅读
# Spark Core 算子去重的介绍与应用
在大数据处理领域，Apache Spark以其强大的计算能力和简洁的API被广泛应用。在Spark的核心模块中，算子是一种非常重要的概念，用于对数据集进行各种操作。本文将重点介绍Spark Core的算子“去重”操作，并提供相关代码示例和场景应用。
## 什么是去重？
在数据处理中，去重就意味着从数据集中删除重复的元素，只保留唯一的元素。去重操
原创
2024-09-28 05:33:16
61阅读
# PySpark DataFrame 去重算子实现指南
## 一、流程概述
在PySpark中，DataFrame的去重操作可以通过`dropDuplicates()`方法实现。下面是实现去重的详细步骤。
```mermaid
classDiagram
class DataFrame {
+ dropDuplicates(column_list)
}
```
原创
2024-04-02 06:55:04
145阅读
1.Python里面如何实现tuple和list的转换python中，tuple和list均为内置类型，以list作为参数将tuple类初始化，将返回tuple类型
tuple([1,2,3]) #list转换为tuple
以tuple作为参数将list类初始化，将返回list类型
list((1,2,3)) #tuple转换为list1.函数tuple(seq)
转载
2023-09-21 19:57:39
75阅读
在处理实时数据流的场景中，使用 Apache Flink 结合 Redis 进行去重是一种有效的解决方案。但是，在这个过程中，要考虑到备份策略、恢复流程、可能的灾难场景，以及监控和预防措施等各方面因素。下面我将详细阐述实现 Flink Redis 去重的过程。
## 备份策略
为了确保去重操作的数据安全性，首先需要建立一个可靠的备份策略。下面是我们的备份流程图：
```mermaid
flo
## Flink与HBase：去重的实现
### 引言
在大数据处理中，去重是一个常见且重要的需求。当处理大规模数据集时，我们经常会遇到重复的数据记录，这些重复数据不仅会占用存储空间，还会影响后续的分析结果。因此，如何高效地进行去重操作就成为了一个关键问题。
Flink是一个流式处理框架，而HBase是一个分布式的非关系型数据库。结合Flink和HBase可以实现高效的去重操作，本文将介绍如
原创
2023-11-29 05:32:15
110阅读
目录（一）Hash（二）BitMap（三）BitSet（四）BloomFilter（五）Flink（一）Hash哈希表是一种基本的数据结构，其思想是利用Hash函数来支持快速的【插入和搜索】，这是哈希表的第一个重要概念。本文从哈希表开始说起，是为数据去重问题提供最原始的思路。该模块不涉及任何复杂算法，或者是Java中的实现方法，仅从最简单的角度进行讲解，便于初学者快速理解。既然说起了【插入和搜索】
转载
2024-07-03 16:35:47
0阅读
基于传统的Set方法去重，以及弊端去重处理方法：需要一个全局 set集合来维护历史所有数据的主键。当处理新日志时，需要拿到当前日志的主键与历史数据的 set 集合按照规则进行比较，若 set集合中已经包含了当前日志的主键，说明当前日志在之前已经被处理过了，则当前日志应该被过滤掉，否则认为当前日志不应该被过滤应该被处理，而且处理完成后需要将新日志的主键加入到set 集合中，set 集合永远存放着所有
转载
2023-12-19 17:46:13
135阅读
Window(窗口)Flink 认为 批处理 是 流处理 的一个特例，所以 Flink 底层引擎是一个流式引擎，在上面实现了流处理和批处理。而Window就是从 流处理 到 批处理 的一个桥梁。
通常来讲，Window是一种可以把无界数据切割为有界数据块的手段例如，对流中的所有元素进行计数是不可能的，因为通常流是无限的(无界的)。所以，流上的聚合需要由 Window 来划定范围，比如 “计算过去5
转载
2024-07-03 14:03:08
12阅读
摘要：本文作者刘杰，介绍了顺丰科技数仓的架构，趟过的一些问题、使用 Hudi 来优化整个 job 状态的实践细节，以及未来的一些规划。主要内容为：数仓架构Hudi 代码躺过的坑状态优化未来规划顺丰科技早在 2019 年引入 Hudi ,当时是基于 Spark 批处理，2020 年对数据的实时性要求更高公司对架构进行了升级，在社区 Hudi on Flink 的半成品上持续优化实现 Binlog 数
转载
2024-05-28 19:25:23
93阅读
Spark算子主要划分为两类：transformation和action，并且只有action算子触发的时候才会真正执行任务。还记得之前的文章《Spark RDD详解》中提到，Spark RDD的缓存和checkpoint是懒加载操作，只有action触发的时候才会真正执行，其实不仅是Spark RDD，在Spark其他组件如SparkStreaming中也是如
转载
2024-03-04 12:46:56
17阅读
声明：本系列博客部分是根据SGG的视频整理而成，非常适合大家入门学习。部分文章是通过爬虫等技术手段采集的，目的是学习分享，如果有版权问题请留言，随时删除。《2021年最新版大数据面试题全面开启更新》HyperLogLog算法 也就是基数估计统计算法，预估一个集合中不同数据的个数，也就是我们常说的去重统计，在redis中也存在hyperloglog 类型的结构，
转载
2021-08-31 10:49:52
940阅读
有状态计算场景 什么场景会用到状态呢，下面列举了常见的 4 种： 去重（Distinct）：比如上游的系统数据可能会有重复，落到下游系统时希望把重复的数据都去掉。去重需要先了解哪些数据来过，哪些数据还没有来，也就是把所有的主键都记录下来，当一条数据到来后，能够看到在主键当中是否存在。 窗口计算（Window）：比如统计每分钟 Nginx 日志 API 被访问了多少次。窗口是一分钟计算一次，在窗
转载
2024-03-20 10:28:52
289阅读
HyperLogLog算法 也就是基数估计统计算法，预估一个集合中不同数据的个数，也就是我们常说的去重统计，在redis中也存在hyperloglog 类型的结构，能够使用12k的内存，允许误差在0.81%的情况下统计2^64个数据，在这种大数据量情况下能够减少存储空间的消耗，但是前提是允许存在一定的误差。关于HyperLogLog算法原理可以参考这篇文章：https://www.jianshu.
原创
2021-02-05 20:47:09
2319阅读
一、flink Exactly-Once与At-Least-Once关于消息的消费、处理语义可以分为三类：
1. at most once : 至多一次，表示一条消息不管后续处理成功与否只会被消费处理一次，那么就存在数据丢失可能
2\. exactly once : 精确一次，表示一条消息从其消费到后续的处理成功，只会发生一次
3\. at least once ：至少一
转载
2024-03-05 04:02:45
163阅读
flink 利用 redis 去重对于每一条待处理的 record，根据算法计算其唯一key： key = getMessageKey(record);如果 key 不存在，设置key值=0和超时. redis 保证 se
原创
2023-01-11 11:23:19
282阅读
