一、EventTime的引入在Flink的流式处理中，绝大部分的业务都会使用eventTime，一般只在eventTime无法使用时，才会被迫使用ProcessingTime或者IngestionTime。如果要使用EventTime，那么需要引入EventTime的时间属性，引入方式如下所示：val environment: StreamExecutionEnvironment = Stream
转载
2024-02-16 20:27:52
116阅读
# 如何在 Flink 中实现写入 MySQL 事务
## 1. 理解 Flink 写入 MySQL 事务的流程
在 Flink 中实现写入 MySQL 事务，主要分为以下几个步骤：
```mermaid
flowchart TD
A(开始)
B(创建 Flink 数据流)
C(定义 MySQL 连接信息)
D(实现写入 MySQL 逻辑)
E(提交事
原创
2024-05-31 04:24:42
88阅读
一、时间概念类型事件生成时间（event time） 每个独立事件在产生它的设备上发生的时间，在事件进入flink之前就已经嵌入到事件中，事件顺序取决于事件产生的地方和下游数据处理系统的时间无关，具有不变形。基于事件生成时间，数据处理过程依赖于数据本身产生的时间，这样能够借助于事件产生时的时间信息来还原事件的先后关系。接入时间（ingestion time）
转载
2024-03-18 14:09:24
46阅读
最近在深入理解Flink的Exactly-Once，发现Flink Checkpoint只能保障Flink程序内部的一致性，无法保证Sink到外部系统的Exactly-Once语义。但是Sink到外部如果实现了TwoPhaseCommitSinkFunction这个抽象类就能实现端到端的Exactly-Once语义，而Kafka刚好也实现了这个这个类，所以先来研究下Ka
转载
2024-03-22 10:01:12
166阅读
Flume ChannelsChannel 是事件在agent 上上演的存储库。Source添加事件，Sink删除事件。1 Memory Channel事件存储在内存队列中，具有可配置的最大大小。对于需要更高吞吐量并准备在agent失败时丢失阶段数据的流来说，它是理想的。必须属性以粗体显示。 Property NameDefaultDescriptiontype–The com
在之前的博客文章中，我们介绍了ApacheKafka的exactly once语义，介绍了各种消息传输语义，producer的幂等特性，事和Kafka Stream的exactly once处理语义。现在我们将从上篇文章结尾的地方开始，深入探讨Apache Kafka的事务。本文档的目标是使读者熟悉Apache Kafka中有效使用事务API所需要的主要概念。 &
转载
2024-08-07 09:30:34
116阅读
当在分布式系统中引入状态时，自然也引入了一致性问题。一致性实际上是"正确性级别"的另一种说法，也就是说在成功处理故障并恢复之后得到的结果，与没有发生任何故障时得到的结果相比，前者到底有多正确？举例来说，假设要对最近一小时登录的用户计数。在系统经历故障之后，计数结果是多少？如果有偏差，是有漏掉的计数还是重复计数？一致性级别在流处理中，一致性可以分为3个级别:at-most-once(最多一次):这其
文章目录一.Flink SQL 背景二、Flink SQL Hello_world三、Flink SQL 的语法和算子3.1 Flink SQL 的语法3.1 常用算子3.1.1 滚动窗口语法3.1.2滑动窗口语法3.1.3 Session Window语法 一.Flink SQL 背景Flink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准 SQ
转载
2023-08-18 16:37:46
246阅读
Fink Flink主页在其顶部展示了该项目的理念：“Apache Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架”。Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规
Flink-SQL 开发背景Flink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的 一套符合标准 SQL 语义的开发语言。 自 2015 年开始，阿里巴巴开始调研开源流计算引擎，最终决定基于 Flink 打造新一 代计算引擎，针对 Flink 存在的不足进行优化和改进，并且在 2019 年初将最终代码开源， 也就是我们熟知的 Blink。Blink 在原来的
转载
2023-09-01 06:52:21
95阅读
kafka事务使用和编程示例一、概述 Kafka事务特性是指一系列的生产者生产消息和消费者提交偏移量的操作在一个事务中，或者说是一个原子操作，生产消息和提交偏移量同时成功或者失败。注意：kafka事务和DB事务。在理解消息的事务时，一直处于一个错误理解是，把操作db的业务逻辑跟操作消息当成是一个事务，如下所示：void kakfa_in_tranction(){
// 1.kafa的操作：读
转载
2024-03-26 10:02:15
245阅读
# 使用 Flink 将数据写入 MySQL 的手动事务提交
作为一名初学者，理解如何使用 Apache Flink 将数据插入 MySQL 数据库并进行手动事务提交是非常重要的。本文将详细介绍这一过程的每个步骤，包括必要的代码示例和注释。
## 整体流程概述
以下是将 Flink 数据写入 MySQL 的手动事务提交的步骤：
| 步骤 | 描述
原创
2024-09-27 07:29:20
145阅读
# 使用Flink监控数据库事务的实现指南
在当今的数据处理和监控领域，Apache Flink作为一种强大的流处理框架，已被广泛应用于对实时数据流进行处理和分析的场景。在这篇文章中，我们将讨论如何使用Flink来监控数据库事务，并逐步带领新手开发者实现这一目标。我们将通过图示和代码示例来解释整个流程。
## 整体流程
在开始之前，首先我们需要明确实现的整体流程。下面的表格列出了我们需要进行
原创
2024-08-18 06:32:35
27阅读
文章目录背景zeppelin不提供per job模式实时平台开发周期长基于zeppelin开发一个简易实时平台开发zeppelin Interpreter提交sql任务提交jar任务注意的点 背景随着flink的蓬勃发展，zeppelin社区也大力推进flink与zeppelin的集成.zeppelin的定位是一种使用sql或者scala等语言的一个交互式的分析查询分析工具。Web-based
转载
2024-03-20 07:46:50
42阅读
一.事件驱动 提到事件驱动应用，首先讲什么是事件驱动的应用程序？事件驱动的应用程序是有状态的应用程序，它从一个或多个事件中提取事件，并通过触发计算，状态更新或外部操作来对传入的事件做出反应。 事件驱动的应用程序是传统应用程序设计的发展，具有分离的计算和数据存储层。在这种体系结构中，应用程序从远程事务数据库读取数据并将数据持久化到远程事务数据库。相反，事件驱动的应用程序基于状态流处理应用程序。在
事务是单个的工作单元。如果某一事务成功，则在该事务中进行的所有数据修改均会提交，成为数据库中的永久组成部分。如果事务遇到错误且必须取消或回滚，则所有数据修改均被清除。 举个例子，比如你去银行转帐就是一个事务。转帐可以简单的分为两个步骤，一是把钱从你的帐户中扣除，二是把钱存到你指定转帐的帐户中。这两个步骤就是一个事务，必须全部执
流式处理的下一个演化步骤在 data Artisans，我们目睹了数据流式处理的疯狂式增长，从早期阶段到快速增长的市场，预计到 2025 年将达到近 500 亿美元的规模。从 Apache Flink 创建之初，我们就坚信流式处理是一项可以为企业的任务关键型应用程序提供强大支持的技术。随着越来越多的行业采用流式处理，并为越来越多的任务关键型应用程序提供支持，这项技术本身也在不断发展，以便为数据和计
原创
2021-04-03 11:15:35
514阅读
flink exactly-once系列目录：一、两阶段提交概述二、两阶段提交实现分析三、StreamingFileSink分析四、事务性输出实现五、最终一致性实现前几篇分析到Flink 是可以通过状态与checkpoint机制实现内部Exactly-Once 的语义，对于端到端的Exactly-Once语义，Flink 通过两阶段提交方式提供了对Kafka/HDFS输出支持，两阶段提交实现是结合
原创
2021-02-06 21:25:28
634阅读
一、尽量在业务上和技术上避免分布式事务显而易见，微服务架构十分的流行，特别是对于电商领域来说。他的优点就不多说了，但是随着集群机器的增加，集群的规模也越来越大，随着集群搭载的服务规模也越来越大，导致事务的处理也就越来越复杂，有可能一个事务涉及到n多个服务，可想而知就算再优良的方案也很难处理这么复杂的事务，与其硬着头皮牺牲性能和可靠性，还不如改变业务，再结合技术对事务进行分割，将复杂的事务简单化，将
原创
2018-10-24 17:27:23
1634阅读
一、背景说明在Flink中可以使用Window join或者Interval Join实现双流join，不过使用join只能实现内连接，如果要实现左右连接或者外连接，则可以通过connect算子来实现。现有订单数据及支付数据如下方说明，基于数据时间实现订单及支付数据的关联，超时或者缺失则由侧输出流输出//OrderLog.csv 订单数据，首列为订单id，付款成功则类型为pay（第二列），且生成支
转载
2023-11-19 07:28:12
131阅读
