1.背景介绍在大数据时代，实时数据分析和数据挖掘已经成为企业和组织中不可或缺的技术手段。随着数据量的增加，传统的批处理方法已经无法满足实时性和高效性的需求。因此，流处理技术和实时数据分析技术逐渐成为主流。Apache Flink是一个流处理框架，它可以处理大规模的实时数据流，并提供丰富的数据分析和数据挖掘功能。本文将从背景、核心概念、核心算法原理、具体代码实例等方面进行深入探讨，为读者提供一个全面
Flink State 管理与恢复Flink 是一个默认就有状态的分析引擎，前面的 WordCount 案例可以做到单词的数量的 累加，其实是因为在内存中保证了每个单词的出现的次数，这些数据其实就是状态数据。但 是如果一个 Task 在处理过程中挂掉了，那么它在内存中的状态都会丢失，所有的数据都需 要重新计算。从容错和消息处理的语义（At -least-once 和 Exactly-once）上来
转载
2024-05-15 07:51:03
73阅读
标题：解决Flink写入MySQL数据重复的方法及代码示例
摘要：本文将介绍在使用Flink时，如何解决数据重复写入MySQL的问题。通过分析产生重复数据的原因，我们将提供一种可靠的解决方案，并给出代码示例加以说明。
## 引言
随着大数据技术的发展，Flink作为一种流处理框架，被广泛应用于实时数据处理和分析。然而，有时候在使用Flink将数据写入MySQL的过程中，可能会遇到数据重复写入
原创
2023-12-01 05:41:13
302阅读
Checkpoint目的 为了保证程序发生故障时状态不丢也不错，它是保证状态一致性而不是数据一致性。原理 使用异步屏障快照Asynchronous Barrier Snapshotting（简称 ABS）算法（依赖于Chandy-Lamport算法的变种）实现分布式快照。流程 1）JobManager周期性产生Barrier，并广播给所有Source算子。 2）Source算子收到Barrier后
转载
2024-04-19 20:58:15
91阅读
用流计算 Oceanus 完成一个最接近真实场景的 Flink 任务：从 MySQL 到 ES
作者：腾讯云流计算 Oceanus 团队流计算 Oceanus 简介流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计
转载
2023-07-30 12:29:50
151阅读
研发背景 公司安全部目前针对内部系统的网络访问日志的安全审计，大部分都是T+1时效，每日当天，启动Python编写的定时任务，完成昨日的日志审计和检测，定时任务运行完成后，统一进行企业微信告警推送。这种方案在目前的网络环境和人员规模下，呈现两个痛点，一是面对日益频繁的网络攻击、钓鱼链接，T+1的定时任务，难以及时进行告警，因此也难以有效避免如关键信息泄露等问题，二是目前以
转载
2024-09-12 18:46:58
69阅读
06Flink基础（1）/构建大数据平台_中介绍了Flink架构，算子，Task/subtask以及Slot等基础内容，本文将继续介绍状态，窗口，水位线，checkpoint等相关内容。
_01 状态许多场景只是独立的检测流中的每一个事件（如事件解析器），但一些场景需要记录跨多个事件的信息（如window），称为状态化。有状态的计算是Flink框架实现的重要功能，稍微复杂的流处理场景都需要记录状态
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章 &nbs
转载
2024-02-17 20:21:05
72阅读
## Flink和MySQL：处理重复数据并导入Doris的完美解决方案
第19讲：Flink 如何做维表关联在实际生产中，我们经常会有这样的需求，需要以原始数据流作为基础，然后关联大量的外部表来补充一些属性。例如，我们在订单数据中，希望能得到订单收货人所在省的名称，一般来说订单中会记录一个省的 ID，那么需要根据 ID 去查询外部的维度表补充省名称属性。在 Flink 流式计算中，我们的一些维度属性一般存储在 MySQL/HBase/Redis 中，这些维表数据存在定
转载
2024-08-23 12:57:44
231阅读
flink实现端到端精准一次消费(EOS)1、At-least-once 与 Exactly-Once区别理解barrier:checkpoint中的核心概念，多个barrier被插入到数据流中,然后作为数据流的一部分随着数据流动。barrier相当于给这
个流打上一个标记，当带有标记的流进入下游算子时，该算子会进行快照。同一时间可以有来源于多个不同快照的多个
barrier,这意
转载
2024-11-01 16:36:30
82阅读
状态容错 State Fault Tolerance首先来说一说状态容错。Flink 支持有状态的计算，可以把数据流的结果一直维持在内存（或 disk）中，比如累加一个点击数，如果某一时刻计算程序挂掉了，如何保证下次重启的时候，重新恢复计算的数据可以从状态中恢复，并且每条数据只被计算了一次呢？从数据的流入到计算流出，整个过程看成事务的话，就是如何保证整个过程具有原子性。Flink 是怎么
转载
2024-09-27 14:19:11
40阅读
摘要：本文介绍去哪儿数据平台在使用 Flink + Iceberg 0.11 的一些实践。内容包括：背景及痛点Iceberg 架构痛点一：Kafka 数据丢失痛点二：近实时 Hive 压力大Iceberg 优化实践总结一、背景及痛点1. 背景我们在使用 Flink 做实时数仓以及数据传输过程中，遇到了一些问题：比如 Kafka 数据丢失，Flink 结合 Hive 的近实时数仓性能等。Iceber
转载
2024-06-11 23:05:08
86阅读
去重计算应该是数据分析业务里面常见的指标计算，例如网站一天的访问用户数、广告的点击用户数等等，离线计算是一个全量、一次性计算的过程通常可以通过distinct的方式得到去重结果，而实时计算是一种增量、长期计算过程，我们在面对不同的场景，例如数据量的大小、计算结果精准度要求等可以使用不同的方案。此篇介绍如何通过编码方式实现精确去重，以一个实际场景为例：计算每个广告每小时的点击用户数，广告点击日志包含
转载
2024-04-25 09:51:56
366阅读
flink计算热门商品在实验一的基础上，继续进行这个实验首先下载这个数据集访问https://tianchi.aliyun.com/dataset/dataDetail?dataId=649点击下载zip文件下载完毕后解压，移动到resources目录下在myflink包内新建一个HotItems类，代码如下/*
* Licensed to the Apache Software Foundat
状态一致性 之前说到检查点又叫作“一致性检查点”，是Flink容错机制的核心。接下来就对状态一致性的概念进行说明，结合理论和实际应用场景，讨论Flink流式处理架构中的应对机制。一、一致性的概念和级别 在分布式系统中，一致性（consistency）是一个非常重要的概念；在事务（transaction）中，一致性也是重要的一个特性。Flink中一致性的概念，主要用在故障恢复的描述中，所以更加类
转载
2024-09-24 14:55:30
22阅读
1 什么是自旋锁和互斥锁？由于CLH锁是一种自旋锁，那么我们先来看看自旋锁是什么？自旋锁说白了也是一种互斥锁，只不过没有抢到锁的线程会一直自旋等待锁的释放，处于busy-waiting的状态，此时等待锁的线程不会进入休眠状态，而是一直忙等待浪费CPU周期。因此自旋锁适用于锁占用时间短的场合。这里谈到了自旋锁，那么我们也顺便说下互斥锁。这里的互斥锁说的是传统意义的互斥锁，就是多个线程并发竞争锁的时候
转载
2024-08-04 11:36:38
58阅读
一、flink Exactly-Once与At-Least-Once关于消息的消费、处理语义可以分为三类：
1. at most once : 至多一次，表示一条消息不管后续处理成功与否只会被消费处理一次，那么就存在数据丢失可能
2\. exactly once : 精确一次，表示一条消息从其消费到后续的处理成功，只会发生一次
3\. at least once ：至少一
转载
2024-03-05 04:02:45
163阅读
