一、EventTime的引入在Flink的流式处理中，绝大部分的业务都会使用eventTime，一般只在eventTime无法使用时，才会被迫使用ProcessingTime或者IngestionTime。如果要使用EventTime，那么需要引入EventTime的时间属性，引入方式如下所示：val environment: StreamExecutionEnvironment = Stream
转载
2024-02-16 20:27:52
116阅读
一、时间概念类型事件生成时间（event time） 每个独立事件在产生它的设备上发生的时间，在事件进入flink之前就已经嵌入到事件中，事件顺序取决于事件产生的地方和下游数据处理系统的时间无关，具有不变形。基于事件生成时间，数据处理过程依赖于数据本身产生的时间，这样能够借助于事件产生时的时间信息来还原事件的先后关系。接入时间（ingestion time）
转载
2024-03-18 14:09:24
46阅读
Flume ChannelsChannel 是事件在agent 上上演的存储库。Source添加事件，Sink删除事件。1 Memory Channel事件存储在内存队列中，具有可配置的最大大小。对于需要更高吞吐量并准备在agent失败时丢失阶段数据的流来说，它是理想的。必须属性以粗体显示。 Property NameDefaultDescriptiontype–The com
Fink Flink主页在其顶部展示了该项目的理念：“Apache Flink是为分布式、高性能、随时可用以及准确的流处理应用程序打造的开源流处理框架”。Apache Flink是一个框架和分布式处理引擎，用于对无界和有界数据流进行有状态计算。Flink被设计在所有常见的集群环境中运行，以内存执行速度和任意规
# 如何在 Flink 中实现写入 MySQL 事务
## 1. 理解 Flink 写入 MySQL 事务的流程
在 Flink 中实现写入 MySQL 事务，主要分为以下几个步骤：
```mermaid
flowchart TD
A(开始)
B(创建 Flink 数据流)
C(定义 MySQL 连接信息)
D(实现写入 MySQL 逻辑)
E(提交事
原创
2024-05-31 04:24:42
88阅读
最近在深入理解Flink的Exactly-Once，发现Flink Checkpoint只能保障Flink程序内部的一致性，无法保证Sink到外部系统的Exactly-Once语义。但是Sink到外部如果实现了TwoPhaseCommitSinkFunction这个抽象类就能实现端到端的Exactly-Once语义，而Kafka刚好也实现了这个这个类，所以先来研究下Ka
转载
2024-03-22 10:01:12
166阅读
在之前的博客文章中，我们介绍了ApacheKafka的exactly once语义，介绍了各种消息传输语义，producer的幂等特性，事和Kafka Stream的exactly once处理语义。现在我们将从上篇文章结尾的地方开始，深入探讨Apache Kafka的事务。本文档的目标是使读者熟悉Apache Kafka中有效使用事务API所需要的主要概念。 &
转载
2024-08-07 09:30:34
116阅读
当在分布式系统中引入状态时，自然也引入了一致性问题。一致性实际上是"正确性级别"的另一种说法，也就是说在成功处理故障并恢复之后得到的结果，与没有发生任何故障时得到的结果相比，前者到底有多正确？举例来说，假设要对最近一小时登录的用户计数。在系统经历故障之后，计数结果是多少？如果有偏差，是有漏掉的计数还是重复计数？一致性级别在流处理中，一致性可以分为3个级别:at-most-once(最多一次):这其
文章目录一.Flink SQL 背景二、Flink SQL Hello_world三、Flink SQL 的语法和算子3.1 Flink SQL 的语法3.1 常用算子3.1.1 滚动窗口语法3.1.2滑动窗口语法3.1.3 Session Window语法 一.Flink SQL 背景Flink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的一套符合标准 SQ
转载
2023-08-18 16:37:46
246阅读
Flink-SQL 开发背景Flink SQL 是 Flink 实时计算为简化计算模型，降低用户使用实时计算门槛而设计的 一套符合标准 SQL 语义的开发语言。 自 2015 年开始，阿里巴巴开始调研开源流计算引擎，最终决定基于 Flink 打造新一 代计算引擎，针对 Flink 存在的不足进行优化和改进，并且在 2019 年初将最终代码开源， 也就是我们熟知的 Blink。Blink 在原来的
转载
2023-09-01 06:52:21
95阅读
kafka事务使用和编程示例一、概述 Kafka事务特性是指一系列的生产者生产消息和消费者提交偏移量的操作在一个事务中，或者说是一个原子操作，生产消息和提交偏移量同时成功或者失败。注意：kafka事务和DB事务。在理解消息的事务时，一直处于一个错误理解是，把操作db的业务逻辑跟操作消息当成是一个事务，如下所示：void kakfa_in_tranction(){
// 1.kafa的操作：读
转载
2024-03-26 10:02:15
245阅读
# 使用 Flink 将数据写入 MySQL 的手动事务提交
作为一名初学者，理解如何使用 Apache Flink 将数据插入 MySQL 数据库并进行手动事务提交是非常重要的。本文将详细介绍这一过程的每个步骤，包括必要的代码示例和注释。
## 整体流程概述
以下是将 Flink 数据写入 MySQL 的手动事务提交的步骤：
| 步骤 | 描述
原创
2024-09-27 07:29:20
145阅读
# 使用Flink监控数据库事务的实现指南
在当今的数据处理和监控领域，Apache Flink作为一种强大的流处理框架，已被广泛应用于对实时数据流进行处理和分析的场景。在这篇文章中，我们将讨论如何使用Flink来监控数据库事务，并逐步带领新手开发者实现这一目标。我们将通过图示和代码示例来解释整个流程。
## 整体流程
在开始之前，首先我们需要明确实现的整体流程。下面的表格列出了我们需要进行
原创
2024-08-18 06:32:35
27阅读
文章目录背景zeppelin不提供per job模式实时平台开发周期长基于zeppelin开发一个简易实时平台开发zeppelin Interpreter提交sql任务提交jar任务注意的点 背景随着flink的蓬勃发展，zeppelin社区也大力推进flink与zeppelin的集成.zeppelin的定位是一种使用sql或者scala等语言的一个交互式的分析查询分析工具。Web-based
转载
2024-03-20 07:46:50
42阅读
Flink的下载地址Flink的部署StandAlone模式Flink on yarn模式Session-ClusterPer-Job-Cluster部署注意点在Flink 的下载界面我们可以看到大致有两种Flink的下载版本,俩者的区别就是一种是有hadoop支持的版本，如果需要和Hadoop来进行交互的化，就需要下载此版本上述只是针对于较低版本的Flink我们可以看到..
原创
2022-03-23 10:21:20
545阅读
点赞
一、尽量在业务上和技术上避免分布式事务显而易见，微服务架构十分的流行，特别是对于电商领域来说。他的优点就不多说了，但是随着集群机器的增加，集群的规模也越来越大，随着集群搭载的服务规模也越来越大，导致事务的处理也就越来越复杂，有可能一个事务涉及到n多个服务，可想而知就算再优良的方案也很难处理这么复杂的事务，与其硬着头皮牺牲性能和可靠性，还不如改变业务，再结合技术对事务进行分割，将复杂的事务简单化，将
原创
2018-10-24 17:27:23
1634阅读
一.事件驱动 提到事件驱动应用，首先讲什么是事件驱动的应用程序？事件驱动的应用程序是有状态的应用程序，它从一个或多个事件中提取事件，并通过触发计算，状态更新或外部操作来对传入的事件做出反应。 事件驱动的应用程序是传统应用程序设计的发展，具有分离的计算和数据存储层。在这种体系结构中，应用程序从远程事务数据库读取数据并将数据持久化到远程事务数据库。相反，事件驱动的应用程序基于状态流处理应用程序。在
无论您是在生产环境中运行Apache Flink or还是在过去将Flink评估为计算框架，您都可能会问自己一个问题：如何在Flink保存点中访问，写入或更新状态？不再询问！Apache Flink 1.9.0引入了State Processor API，它是DataSet API的强大扩展，它允许读取，写入和修改Flink的保存点和检查点中的状态。在这篇文章中，我们解释了为什么此功能对
转载
2024-04-22 21:50:04
41阅读
前不久，Flink社区发布了FLink 1.9版本，在其中包含了一个很重要的新特性，即state processor api，这个框架支持对checkpoint和savepoint进行操作，包括读取、变更、写入等等。savepoint的可操作带来了很多的可能性：作业迁移 1.跨类型作业，假如有一个storm作业，将状态缓存在外部系
转载
2024-03-06 16:13:28
32阅读
Flink的状态管理Flink中的状态状态的分类Operator StateKeyed State状态后端（State Backends）Flink中的状态什么是状态？由一个任务维护，并且用来计算某个结果的所有数据，都属于这个任务的状态可以认为状态就是一个本地变量，可以被任务的业务逻辑访问Flink 会进行状态管理，包括状态一致性、故障处理以及高效存储和访问，以便开发人员可以专注于应用程序的逻辑有些算子有些任务是没有状态的，如map操作，只跟输入数据有关。像窗口操作不管是增量窗
原创
2022-03-23 10:21:23
1003阅读
