作者 | 辛晓亮昨日，Apache Flink 联合创始人之一 Stephan Ewen 在公司博客宣布辞职离开 Ververica 公司，并减少参与 Apache Flink 项目，开启个人新征程。Stephan Ewen 表示这是艰难的一步，但也会是正确的一步。1离开 12 年项目，追寻新征程2014 年，Stephan Ewen 与 Kostas Tzoumas 等成员一起成立 Data A
Flink的特点1、事件驱动型（Event-Driven）2、流与批3、分层API4、支持有状态计算5、支持exactly-once语义6、支持事件时间（Event Time） 1、事件驱动型（Event-Driven）事件驱动型应用是一类具有状态的应用，它从一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。比较典型的就是以kafka为代表的消息队列几乎都是事件驱动型应
转载
2024-02-23 15:43:59
280阅读
声明: 1. 本文为我的个人复习总结, 并非那种从零基础开始普及知识 内容详细全面, 言辞官方的文章 2. 由于是个人总结, 所以用最精简的话语来写文章 &nbs
转载
2024-03-12 10:42:11
129阅读
flink即做实时,有做离线我们有哪几种框架的选择1.直接从日志采集服务器用flume转数据,定义一个Source,两个channel,两个Sink,一个写kafka,一个写hdfsSink答案 不现实,太浪费,出问题原因 1.不现实:对日志采集服务器压力很大,我们一般使用到网卡是千兆的网卡,超过了理论单网卡的传输数据是125M,kafka用的80M/秒,hdfs用60/秒,加起来140M/秒,超
转载
2024-03-25 04:32:51
92阅读
一、简介Flink提供的有状态可查询机制，可以通过第三方程序读取到flink内部的状态数据 就是flink计算之后的结果（state），允许通过第三方应用程序查询到1.1应用场景用户在进行登录前需要同过flink中获取到状态来判断本次登录是否有风险 说明：二、架构 说明：在Flink的状态可查询的架构中，存在三个基本概念 QueryableStateClient:第三方程序，不是flink架构中的
转载
2024-02-28 09:31:05
63阅读
Flink流处理与网络安全是一篇深度探讨Flink流处理技术及其在网络安全领域的应用的专业技术博客文章。本文将从以下几个方面进行探讨：背景介绍核心概念与联系核心算法原理和具体操作步骤以及数学模型公式详细讲解具体代码实例和详细解释说明未来发展趋势与挑战附录常见问题与解答本文旨在帮助读者更好地理解Flink流处理技术及其在网络安全领域的应用，并为读者提供一些实际操作的经验和见解。1.1 Flink简介
转载
2024-07-05 18:35:14
78阅读
目录0. 相关文章链接1. 离线 Compaction1.1. 设置参数1.2. 原理1.3. 使用方式1.3.1. 执行命令1.3.2. 参数配置1.3.3. 案例演示2. 离线 Clustering2.1. 设置参数2.2. 原理2.3. 使用方式2.3.1. 执行命令2.3
转载
2024-04-22 11:50:41
129阅读
Apache Flink作为分布式处理引擎，用于对无界和有界数据流进行状态计算。其中实时任务用于处理无界数据流，离线任务用于处理有界数据。通过本文你将掌握让大型离线任务运行稳定的能力，同时能够通过分析离线任务运行特点，降低任务运行资源消耗，减少任务成本。下面我们进入正题：01—离线任务情况说明对于平台处理的离线任务，任务大都是处理：从HDFS到HIVE的数据清洗任务。这类任务的特点是数据来一条处理
转载
2023-12-27 22:41:19
181阅读
事件驱动型应用是一类具有状态的应用，它从一个或多个事件流提取数据，并根据到来的事件触发计算、状态更新或其他外部动作。比较典型的就是以kafka为代表的消息队列几乎都是事件驱动型应用。(Flink的计算也是事件驱动型)与之不同的就是SparkStreaming微批次，如图:事件驱动型：批处理的特点是有界、持久、大量，非常适合需要访问全套记录才能完成的计算工作，一般用于离线统计。流处理的特点是无界、实
转载
2024-02-25 06:52:31
72阅读
文章目录
8. 实时数仓同步数据
9. 离线数仓同步数据
9.1 用户行为数据同步
9.1.1 数据通道
9.1.1.1 用户行为数据通道
9.1.2 日志消费Flume配置概述
9.1.2.1 日志消费Flume关键配置
9.1.3 日志消费Flume配置实操
9.1.3.1 创建Flume配置文件
9.1.3.2 配置文件内容
转载
2024-04-02 00:00:14
289阅读
通常的认识是：Flink 流模式跑流任务，批模式跑批任务，用流模式跑离线任务也是个有意思的事情虽然新版 Flink 已经在 sql 上实现了一定程度的流批一体，但是 DataStream 和 DataSet API 还是相差比较大的用 Flink 跑离线任务也是机缘巧合（也是必然，毕竟我不会 Spark）现在的项目组经常会跑历史数据，当然是批模式的，在用 Flink batch 被遇到各种各样的问
转载
2023-07-27 19:46:36
151阅读
一、背景：自己公司是内网环境，不能访问外网。但是测试人员在操作Metersphere想快速查看文档，没办法访问Metersphere的官网文档，MS的官网文档写的又很详细，所以就想看看能不能本地化直接部署在线文档。二、部署：调研之后，发现MS的文档是通过MkDocs部署的，所以我们只需把静态资源部署到本地服务上就可以访问了。 于是，就想到了两种实现方式：1. 通过github Pages 的方式去
转载
2024-09-26 13:22:07
74阅读
在大数据领域，Apache Flink 被广泛应用于实时数据处理，而 MongoDB 则是流行的 NoSQL 数据库之一。将 Flink 和 MongoDB 结合使用，不仅实现了数据处理的低延迟，高吞吐量，同时也得到了更灵活的数据存储解决方案。然而，在对 MongoDB 进行离线数据处理时，许多团队面临着技术痛点，这些痛点需要系统化的分析与解决方案。
## 背景定位
在开始解决问题之前，我们首
ApacheFlink起源于Stratosphere项目，Stratosphere是在2010~2014年由3所地处柏林的大学和欧洲的一些其他的大学共同进行的研究项目，2014年4月Stratosphere的代码被复制并捐赠给了Apache软件基金会，参加这个孵化项目的初始成员是Stratosphere系统的核心开发人员，2014年12月，Flink一跃成为Apache软件基金会的顶级项目。&nb
转载
2024-04-29 11:19:05
62阅读
Flink学习Flink是什么基于数据流的有状态的计算，分布式处理引擎框架，作用于有无界有界的数据流上。无界流：有头没有尾，源源不断，无穷无尽。不可能等待所有数据结束才去处理。有界流：有始有终，可以等待所有数据都准备好了才去处理，可以理解为批处理。Flik应用程序可以处理数据来了就处理，还可以先把数据存下来再处理。分层接口API越往下级别越高，但表达能力越低Stateful Event-Drive
转载
2024-04-02 20:46:27
59阅读
在线工程在机器学习场景下，在线离线处理也会面临一些问题。首先会将离线的数据进行预处理和特征工程（如红框标注所示），然后进行离线的模型训练，训练好的模型会推到线上做推理。推理模块加载模型后，在线的数据也会有进行预处理和特征工程的过程，将处理之后的数据喂给模型做在线推理。在机器学习领域除了离线的模型训练以外，还有在线的模型训练。如下图所示，我们通常会将预处理的数据写到一个 Message Queue
转载
2024-05-06 11:02:01
97阅读
# 使用Flink SQL进行离线MySQL数据处理
Flink SQL是一种强大的工具，可以用于实时数据流处理和批处理（离线处理）。这里我们将看到如何使用Flink SQL从MySQL提取数据。下面是整个流程的概览：
| 步骤 | 描述 |
|-------------|----------------------------|
|
原创
2024-10-16 04:41:40
47阅读
# Flink SQL 与 MySQL 的离线处理教程
## 一、流程概述
在使用 Apache Flink 进行数据处理时，Flink SQL 可以与 MySQL 数据库紧密集成，实现离线数据处理。以下是实现这一过程的基本步骤：
| 步骤编号 | 操作内容 | 说明 |
| ----
原创
2024-10-29 03:41:20
60阅读
1.Flink简介1.1 什么是FlinkApache Flink 是⼀个分布式⼤数据处理引擎，可对有限数据流和⽆限数据流进⾏有状态计算。可部署在各种集群环境，对各种⼤⼩的数据规模进⾏快速计算。1.2 Flink的历史早在 2008 年，Flink 的前身已经是柏林理⼯⼤学⼀个研究性项⽬， 在 2014 被 Apache 孵化器所接受，然后迅速地成为了 ASF（Apache Software Fo
转载
2024-07-13 08:50:50
78阅读
标题：Flink 数据转换利器：高效处理数据的 API 指南 导语：在现代数据处理领域，Apache Flink 凭借其强大的数据流处理能力，成为了许多开发者首选的框架。本文将为您介绍 Flink 任务转换数
转载
2024-10-10 16:25:09
0阅读
