背景:公司疫情填报系统。公司有A、B两类员工，每日需要填写疫情相关的信息。这批数据存在mysql之中，个人填报信息每天最多存1条记录，多次提交的数据会将最新记录保留。其中主要涉及三张表，一张员工信息表、一张在公司的疫情填报表，一张不在公司的疫情填报表。两张表中关联字段user_id。整体的处理思路:kafka -> flink -> redis flink中清洗思路
转载
2024-03-21 10:30:54
64阅读
Flink相关概念及特性Flink的优势：Flink基本架构基本架构Flink 程序的构成并行数据流 Apache Flink(以下称Flink)是大数据实时流处理计算框架，相对Apache Spark，Spark Streaming 是把批处理按时间切割成很小的片，然后执行微批处理，近似流处理的一个状态；Flink是基于流处理，在Flink中认为Dataset其实就是一个有界的数据流，Data
转载
2024-03-25 19:14:43
65阅读
1、应用场景分析参考徐崴老师Flink项目数据清洗【实时ETL】数据报表1.1、数据清洗【实时ETL】1.1.1、需求分析针对算法产生的日志数据进行清洗拆分算法产生的日志数据是嵌套大JSON格式（json嵌套json），需要拆分打平针对算法中的国家字段进行大区转换最后把不同类型的日志数据分别进行存储1.1.2、架构图1.2、新建项目工程创建一个大的项目，用Maven来维护 每个flink需求，即j
转载
2023-08-29 16:56:58
1028阅读
目录什么是数据流？Flink程序剖析Java范例程序数据源JavaDataStream TransformationsData SinksJava迭代器Java执行参数容错能力控制延迟Java调试本地执行环境Java收集数据源Java迭代器数据接收器Java接下来要去哪里？【翻译来源-Application Development DataStream API】Flink中的DataStream程
转载
2024-05-06 10:12:17
177阅读
数据过滤通过条件约束筛选出符合条件的结果，减少不必要的数据行。数据过滤重点内容1、使用 WHERE 子句，如何使用比较运算符对字段的数值进行比较筛选；
2、如何使用逻辑运算符，进行多条件的过滤；
3、学会使用通配符对数据条件进行复杂过滤。比较运算符在 SQL 中，我们可以使用 WHERE 子句对条件进行筛选，在此之前，你需要了解 WHERE 子句中的比较运算符。这些比较运算符的含义你可以参见下面这
转载
2024-03-29 08:24:17
251阅读
研发背景 公司安全部目前针对内部系统的网络访问日志的安全审计，大部分都是T+1时效，每日当天，启动Python编写的定时任务，完成昨日的日志审计和检测，定时任务运行完成后，统一进行企业微信告警推送。这种方案在目前的网络环境和人员规模下，呈现两个痛点，一是面对日益频繁的网络攻击、钓鱼链接，T+1的定时任务，难以及时进行告警，因此也难以有效避免如关键信息泄露等问题，二是目前以
转载
2024-09-12 18:46:58
69阅读
数据类型为左流 FlinkClick(userid=gk01, click=Pay, ctime=2020-12-14 09:55:00.000) ; 右流为 FlinkPay(userid=gk01, payway=alipy, ptime=2020-12-14 09:58:00.000)join的这段代码如下clickOut.keyBy(t->t.getUserid(
转载
2024-07-24 13:07:55
185阅读
概述Flink是一个用于对无界和有界数据流进行有状态计算的框架。Flink在不同的抽象级别提供多个API，并为常见用例提供专用库。流媒体应用程序的构建块可以由流处理框架构建和执行的应用程序类型由框架控制流，状态和时间的程度来定义。在下文中，我们描述了流处理应用程序的这些构建块，并解释了Flink处理它们的方法。流显然，流是流处理的一个基本方面。但是，流可以具有不同的特征，这些特征会影响流的处理方式
转载
2024-04-25 21:07:04
21阅读
这一篇很难懂，我也不懂。有状态流处理虽然数据流中的许多操作一次只查看一个单独的事件（例如事件解析器），但有些操作会记住多个事件的信息（例如窗口操作符）。这些操作称为有状态的。有状态操作的一些示例：当应用程序搜索某些事件模式时，状态将存储到目前为止遇到的事件序列。当聚合每分钟/小时/天的事件时，状态持有待处理的聚合。在数据点流上训练机器学习模型时，状态保存模型参数的当前版本。当需要管理历史数据时，状
转载
2024-03-25 12:58:44
50阅读
1.背景介绍Flink是一个流处理框架，用于实时处理大规模数据流。它支持数据流操作的数据流控制与管理，以实现高效、可靠的数据处理。在本文中，我们将深入探讨Flink的数据流操作的数据流控制与管理，揭示其核心概念、算法原理、具体操作步骤和数学模型公式。2.核心概念与联系在Flink中，数据流操作的数据流控制与管理是实现流处理的关键。以下是一些核心概念：数据流：数据流是一种连续的数据序列，通常用于表示
转载
2024-07-24 13:18:24
265阅读
flink 多流join 触发时机详解 flink多流join代码很简单,但是对于初学者可能会遇到window窗口计算不能触发的"假象",这往往是由于对flink window eventtime processtime理解不到位引起的,以下示例将详述join在不同时间下的触发过程.
join+window+processtime代码import java.tex
转载
2024-03-19 09:07:28
46阅读
第19讲：Flink 如何做维表关联在实际生产中，我们经常会有这样的需求，需要以原始数据流作为基础，然后关联大量的外部表来补充一些属性。例如，我们在订单数据中，希望能得到订单收货人所在省的名称，一般来说订单中会记录一个省的 ID，那么需要根据 ID 去查询外部的维度表补充省名称属性。在 Flink 流式计算中，我们的一些维度属性一般存储在 MySQL/HBase/Redis 中，这些维表数据存在定
转载
2024-08-23 12:57:44
231阅读
1、大数据计算引擎发展的四个阶段第一代 Hadoop 承载的 MapReduce第二代 持 DAG（有向无环图） 的框架： Tez 、 Oozie，主要还是批处理任务第三代 Job 内部的 DAG（有向无环图） 支持（不跨越 Job），以及强调的实时计算：Spark第四代 对流计算的支持，以及更一步的实时性：Flink如图表示：2、flink特性（1）高吞吐 & 低延时（2）支持 Even
转载
2024-03-23 12:08:48
28阅读
目的最近会不定期抽空整理flink的相关知识，整理的逻辑大纲就是下面自己画的学习框架图。如果有大佬发现下面知识框架有问题也欢迎指出。因为FlinkKafkaConsumer 是flink自己对kafka的数据读取进行管理的中间件，与kafka自带的进度管理方式稍有不同，而kafka又是flink最常用的resource和sink之一。这里对FlinkKafkaConsumer的管理机制进行学习记录
转载
2024-04-23 11:46:31
81阅读
无论是基本的简单转换和聚合，还是基于窗口的计算，我们都是针对一条流上的数据进行处理的。而在实际应用中，可能需要将不同来源的数据连接合并在一起处理，也有可能需要将一条流拆分开，所以经常会有对多条流进行处理的场景简单划分（两大类）：分流——把一条数据流拆分成完全独立的两条或多条，一般通过侧输出流来实现合流——多条数据流合并为一条数据流，如union，connect，join，coGroup9.1 分流
转载
2024-09-05 13:22:46
57阅读
# Java Kafka Flink 过滤的实现流程
在如今的大数据时代，流处理技术越来越受到重视。Kafka 作为一个分布式流处理平台，和 Flink 作为流处理框架的结合，使得数据的实时处理变得高效而简单。下面我们将详细说明如何在 Java 中使用 Kafka 和 Flink 来过滤数据。
## 整体流程
首先，我们需要理解实现的整体流程。以下是实现的步骤图表：
| 步骤 | 描述
目录1 Checkpoint1.1 State Vs Checkpoint1.2 Checkpoint执行流程1.2.1 简单流程1.2.2 复杂流程--课后自行阅读1.3 State状态后端/State存储介质1.3.1 MemStateBackend[了解]1.3.2 FsStateBackend1.3.3 RocksDBStateBackend1.4 Checkpoint配置方式1.4.1
文章目录概述无状态流计算有状态流计算状态分类：算子状态(Operator State)键控状态(Keyed State)ValueState[T]ListState[T]MapState[KU,VU]ReducingState[T]AggregatingState[I, O] 聚合状态状态运用编程实例 概述流式计算分为无状态和有状态两种情况。无状态流计算无状态的计算观察每个独立事件，并根据最后一
转载
2024-03-06 08:46:41
89阅读
Apache Flink是什么？Apache flink是一个框架和分布式处理引擎，用于在无边界和有边界的数据流上进行有状态的计算。Flink能在所有常见的环境中运行，并能以内存速度和任意规模进行计算。接下来我们介绍一下Flink架构中的重要方面：处理无界和有界数据：任何类型的数据都可以形成一种事件流。信用卡交易、传感器测量、机器日志、网站或移动应用程序上的用户交互记录，所有这些数据流都能形成一种
转载
2024-05-16 10:21:23
16阅读
1、At most once - 每条数据最多被处理一次（0次或1次），这种语义下会出现数据丢失的问题； 2、At least once - 每条数据最少被处理一次 (1次或更多)，这个不会出现数据丢失，但是会出现数据重复； 3、Exactly once - 每条数据只会被处理一次，没有数据会丢失，并且没有数据会被多次处理，这种语义是大家最想要的，但是也是最难实现的。spark streaming
转载
2024-03-21 09:01:13
31阅读
