Flink 提供了 Exactly-Once 语义，这是一种高度可靠的流式数据处理保障，确保每个事件都会被处理一次且仅一次，即使在发生故障或重启时也是如此。这种语义对于许多关键应用程序，如金融交易和事件驱动型应用程序，至关重要。要实现 Flink 的 Exactly-Once 语义，需要采取以下关键措施：Stateful Stream Processing： 确保作业是有状态的，这意味着在处理事件
转载
2024-11-01 13:57:04
59阅读
# 使用 Flink 添加 Redis 作为数据源
Apache Flink 是一个用于处理和分析大规模数据流的流处理框架。它提供了丰富的 API 和工具，可以帮助我们轻松地处理数据流。在实际的应用中，我们经常需要从外部系统中获取数据，并将其用作 Flink 的输入。本文将介绍如何使用 Flink 添加 Redis 作为数据源，并展示相应的代码示例。
## Redis 简介
Redis 是一
原创
2024-02-03 11:46:05
53阅读
在flink中，转换算子是无法访问事件的时间戳信息和水位线信息的。所以！ flink提供了一些列的Low-Level转换算法，他们可以访问时间戳，watermark以及注册定时器。总结：ProcessFunction可以被认为是一种提供了对状态和定时器访问的FlatMapFunction，没接收到一个数据流都会进行处理，可以通过访问时间戳来进行设置定时器等操作。 
转载
2024-03-19 21:24:24
142阅读
背景Async I/O 是阿里巴巴贡献给社区的一个呼声非常高的特性，于1.2版本引入。主要目的是为了解决与外部系统交互时网络延迟成为了系统瓶颈的问题。流计算系统中经常需要与外部系统进行交互，比如需要查询外部数据库以关联上用户的额外信息。通常，我们的实现方式是向数据库发送用户a的查询请求，然后等待结果返回，在这之前，我们无法发送用户b的查询请求。这是一种同步访问的模式，如下图左边所示。图中棕色的长条
转载
2024-09-20 19:30:51
95阅读
文章目录一. Flink概述1.1 Flink历史1.2 Flink简介1.3 Flink特点1.3.1 批处理 & 流处理批处理流处理无界流有界流1.3.2 事件驱动型(Event-driven)1.3.3 分层ProcessFunctionDataSteam DataSetTable API 一. Flink概述1.1 Flink历史Flink起源于 Stratosphere 项目
转载
2024-02-29 09:51:38
31阅读
Flink exact-once和容错机制Flink checkpointCheckpoint 性能优化故障恢复流程Savepoint 对于一个分布式系统来说，单个进程或是节点崩溃导致整个Job失败是经常发生的事情，在异常发生时不会丢失用户数据并能自动恢复才是分布式系统必须支持的特性之一。Flink checkpointFlink基于分布式快照与可部分重发的数据源实现了容错。用户可自定义对整个J
转载
2024-06-04 06:03:26
283阅读
Flink概述Flink是Apache的一个顶级项目，Apache Flink 是一个开源的分布式流处理和批处理系统。Flink 的核心是在数据流上提供数据分发、通信、具备容错的分布式计算。同时，Flink 在流处理引擎上构建了批处理引擎，原生支持了迭代计算、内存管理和程序优化。现有的开源计算方案，会把流处理和批处理作为两种不同的应用类型，因为它们所提供的SLA（Service-Level-Agg
转载
2024-04-01 13:26:14
138阅读
对一个互联网产品来说，典型的风控场景包括：注册风控、登陆风控、交易风控、活动风控等，而风控的最佳效果是防患于未然，所以事前事中和事后三种实现方案中，又以事前预警和事中控制最好。这要求风控系统一定要有实时性。本文就介绍一种实时风控解决方案。1.总体架构风控是业务场景的产物，风控系统直接服务于业务系统，与之相关的还有惩罚系统和分析系统，各系统关系与角色如下： 业务系统，通常是APP+后台
1.1 Data Source数据源在实时计算DataStream API中，Source是用来获取外部数据源的操作，按照获取数据的方式，可以分为：基于集合的Source、基于Socket网络端口的Source、基于文件的Source、第三方Connector Source和自定义Source五种。前三种Source是Flink已经封装好的方法，这些Source只要调用StreamEx
转载
2023-06-04 16:29:06
271阅读
一、addSource & fromSource 、addSink & SinkTo
这两组算子区别在于：addSource和addSink需要自己实现SourceFunction或者是SinkFunction，其中读取数据的逻辑，容错等都需要自己实现；fromSource和SinkTo，是flink提供的简易的
转载
2024-03-13 15:35:11
653阅读
overview解读Flink 1.5版本的“task本地恢复”feature的实现。随着时间的推移，Flink有些模块的代码复杂度已经很高了（比较典型的就是状态&容错这块）。因为考虑到兼容历史实现的问题，类在快速增长。实现关于本地恢复的配置，封装在名为LocalRecoveryConfig的类中，该类可提供本地恢复模式的查询（也即LocalRecoveryMode枚举）以及本地恢复目录提
转载
2024-04-09 10:25:11
25阅读
序本文主要研究一下flink如何兼容StormTopology实例@Test
public void testStormWordCount() throws Exception {
//NOTE 1 build Topology the Storm way
final TopologyBuilder builder = new TopologyBuild
转载
2024-05-31 11:58:25
140阅读
Flink 可以从各种来源获取数据，然后构建 DataStream 进行转换处理。一般将数据的输入来源称为数据源，而读取数据的算子就是源算子（Source）。所以，Source 就是我们整个处理程序的输入端。Flink 代码中通用的添加 Source 的方式，是调用执行环境的 addSource()方法：//通过调用 addSource()方法可以获取 DataStream 对象
val stre
转载
2023-09-15 23:21:48
74阅读
转换算子一个流的转换操作将会应用在一个或者多个流上面，这些转换操作将流转换成一个或者多个输出流，将这些转换算子组合在一起来构建一个数据流图。大部分的数据流转换操作都是基于用户自定义函数udf。udf函数打包了一些业务逻辑并定义了输入流的元素如何转换成输出流的元素。像MapFunction这样的函数，将会被定义为类，这个类实现了Flink针对特定的转换操作暴露出来的接口。DataStream API
问题当进入一个详细页面，这时程序会弹出一个对话框加载网络数据，可是发现用户经常因为数据加载慢，就快速的退出这个页面，这样反复来回几次后，发现AsyncTask不再继续加载，而是慢慢的等待，查了下个数，是前几个没有及时的关闭，导致当前的异步任务一直在等待。所以想请教如何在退出一个页面后，也同时关闭对应的异步任务？初步解决代码方案：public class Task extends AsyncTask
转载
2024-07-27 15:02:53
115阅读
摘要：本文整理自快手实时计算团队技术专家张静、张芒在 Flink Forward Asia 2021 的分享。主要内容包括：Flink SQL 在快手功能扩展性能优化稳定性提升未来展望一、Flink SQL 在快手经过一年多的推广，快手内部用户对 Flink SQL 的认可度逐渐提高，今年新增的 Flink 作业中，SQL 作业达到了 60%，与去年相比有了一倍的提升，峰值吞吐达到了 6 亿条/秒
转载
2024-08-20 00:23:15
33阅读
之前得知获取用户头像和昵称的两个接口getUserInfo和getUserProfile被废弃了，于是我就想深入探究一下。PS：关于这两个接口被收回的公告见《小程序用户头像昵称获取规则调整公告》更新：最近重新开发小程序，发现小程序头像和昵称还是可以获取的，只是不是通过getUserInfo和getUserProfile，而是使用头像昵称填写能力。所以下面我对于为什么废弃getUserInfo和ge
转载
2024-03-08 19:47:29
113阅读
问题为什么Java Vector被认为是遗留类，已过时或已弃用？在使用并发时，它的使用是否有效？如果我不想手动同步对象而只想使用线程安全的集合而不需要制作底层数组的新副本(如CopyOnWriteArrayList那样)，那么使用Vector是否合适？那么Stack，它是Vector的一个子类呢，我应该用什么代替呢？#1 热门回答(600 赞)Vector在每个单独的操作上同步。这几乎不是你想要做
转载
2023-12-24 10:14:22
46阅读
状态原理状态、状态后端、Checkpoint 三者之间的区别及关系？拿五个字做比喻："铁锅炖大鹅"，铁锅是状态后端，大鹅是状态，Checkpoint 是炖的动作。状态：本质来说就是数据，在 Flink 中，其实就是 Flink 提供给用户的状态编程接口。比如 flink 中的 MapState，ValueState，ListState。状态后端：Flink 提供的用于管理状态的组件，状态后端决定了
转载
2024-04-08 11:04:21
649阅读
弃用Eudora
原创
2021-07-30 16:53:36
227阅读
