Flink 的核心语义和架构模型
Flink核心概念
Streams(流)
有界流 有固定大小，不随时间增长而增长的数据，比如Hive中的一张表无界流 无固定大小，数据随时间增长而增长，比如Kafka中的消息State(状态)#重要 指的是在进行流式计算过程中的信息，一般用作容错恢复和持久化。因为流式计算本质是增量计算，也就是说需要不断查询过去的状态Time(时间)
转载
2024-04-22 07:41:50
47阅读
一、Transformations 分类Flink 的 Transformations 操作主要用于将一个和多个 DataStream 按需转换成新的 DataStream。它主要分为以下三类：DataStream Transformations：进行数据流相关转换操作；Physical partitioning：物理分区。Flink 提供的底层 API ，允许用户定义数据的分区规则；Task c
转载
2024-04-08 13:10:23
168阅读
Flink在1.10版本中完成了对StreamTask的运行机制进行了重构，引入了Mailbox机制。本文对这次改动做了哪些修改，以及对比之前的实现有哪些好处进行一些简要的介绍。通过MailBoxProcessor优先处理特殊事件(checkpoint，窗口的timer)，以及处理InputChannel中的数据Flink线程模型的变化flink之前是通过一个CheckPointLock加锁来实现
转载
2024-04-24 16:36:16
282阅读
抽象层次Flink 提供了不同层次的抽象给批/流编程模型使用。最底层的抽象是状态流（stateful streaming），它通过处理函数（Process Function）嵌入到数据流API（DataStream API ）中。它允许用户自由处理来自一个或多个事件流，并具有一致的容错状态。另外你还可以自行注册基于事件时间和程序处理时间的回调，允许程序实现非常复杂的计算。实际应用中，大多数程序都不
转载
2024-03-04 06:55:51
47阅读
目录前言一、Akka通信模型的概念二、Akka编程模型前言 虽然Flink已经打算开始转向Netty来实现内部通信，不过截止目前版本（Flink 1.15）Flink内部的心跳、组件通信等依然是基于Akka的模型来实现的。之所以要先来了解一下Akka，就是为了了解一些Akka模型的回调机制，防止在Flin
转载
2024-05-05 06:47:37
56阅读
文章目录1. 部署模式（抽象的概念）1.1 会话模式（Session Mode）1.2 单作业模式（Per-Job Mode）1.3 应用模式（Application Mode）1.4 总结2. 系统架构2.1 整体构成2.1.1 作业管理器（JobManager）2.1.2 任务管理器（TaskManager）2.2 高层级抽象视角3. 独立模式（Standalone）3.1 概念3.2 会话
转载
2024-03-15 08:53:43
71阅读
The world beyond batch: Streaming 102.简介欢迎回来！如果你错过了前一篇博文，The world beyond batch: Streaming 101，我强烈建议先花一点时间阅读第一篇博文。第一篇博文介绍了我接下来讲述的这篇博文的一些必要的基础，我假设本篇博文的读者已经熟悉了前一篇博文内介绍的名词与概念。同时，请注意本篇博文里包含了许多动画，所以如果读者直接打
转载
2024-08-21 11:00:53
50阅读
OpenGauss 是一个开源的关系型数据库管理系统，由华为开源并捐赠给 openGauss 社区。以下是对 OpenGauss 数据库的技术总结：OpenGauss 简介 起源: 华为基于 PostgreSQL 研发，专为 OLTP 场景优化。 开源: 开源社区版，支持社区贡献和商业友好的许可证。 OpenGauss 核心特性 高性能: 优化的 SQL 引擎和执行计划，提供快速的数据处理能力。
转载
2024-08-19 10:22:24
28阅读
Flink源码阅读----04源码分析1.MemorySegmentHeapMemorySegment和HybridMemorySegment都是MemorySegment类的子类HeapMemorySegment表示此类表示由Flink管理的堆内存。该段由字节数组支持，并具有针对基本类型的随机放置和获取方法，以及比较和交换方法。此类专门用于堆内存的字节访问和字节复制调用，同时重用MemorySe
转载
2024-05-30 14:12:52
85阅读
1 Flink基石 Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。
1.1 Checkpoint Checkpoint机制，这是Flink最重要的一个特性。Flink基于Chandy-Lamport算法实现了一个分布式的一致性
转载
2024-03-19 15:05:39
27阅读
Flink 数据流编程模型1. 抽象级别Flink 提供了不同级别的抽象，以开发流或批处理作业。 最底层级的抽象仅仅提供了有状态流，它将通过过程函数（Process Function）被嵌入到 DataStream API 中。它允许用户可以自由地处理来自一个或多个数据流的事件，并使用一致的容错的状态，除此之外，用户可以注册事件事件并处理时间回调，从而使程序可以处理复杂的计算。实际上，大多数应
转载
2024-07-24 13:10:34
96阅读
FlinkFlink 核心特点批流一体所有的数据都天然带有时间的概念，必然发生在某一个时间点。把事件按照时间顺序排列起来，就形成了一个事件流，也叫作数据流。「无界数据」是持续产生的数据，所以必须持续地处理无界数据流。「有界数据」，就是在一个确定的时间范围内的数据流，有开始有结束，一旦确定了就不会再改变。可靠的容错能力集群级容错集群管理器集成（Hadoop YARN、Mesos或Kubernetes
转载
2024-03-20 13:05:46
67阅读
...
转载
2021-08-18 13:54:00
70阅读
2评论
...
转载
2021-08-18 13:46:00
45阅读
2评论
Flink编程模型是一个分层的抽象体系，支持批处理和流处理的统一计算框架，其核心设计围绕数据流处理展开。以下是关键要点：数据处理分层Flink提供四层API抽象：SQL/Table API：最高层抽象，依据声明式语法处理结构化资料，支持流批统一查询DataStream/DataSet API：面向开 ...
摘要在Yelp，我们生成了大量高吞吐量的数据流，包括日志、业务数据和应用程序数据。我们需要对这些数据流进行连接、过滤、聚合，有时候甚至需要进行快速转换。为了实现这一过程，工程团队投入了大量时间来分析多个流式处理框架，最终确定Apache Flink是最佳选择。我们现在使用Flink实现了一个连接算法，我们称之为“Joinery”。它可以针对两个或两个以上基于键的数据流执行非时间窗口的一对一、一对多
ApplicationApplication Mode 将在 YARN 上启动一个 Flink 集群，在 Y
原创
2021-12-30 10:48:11
1584阅读
概述独立模式是部署 Flink 最简单的方式：部署概述中描述的 Flink 服务只是作为操作系统上的进程启动
原创
2021-12-30 10:49:05
1610阅读
Flink总结从头儿过一遍书，做了些摘要。SQL那里还没仔细复习。一、初始Flink核心目标：数据流上的有状态计算具体定位：以内存执行速度（速度快）和任意规模来执行计算（可扩展性强） -> 小松鼠快速灵巧有状态的流处理可用于许多不同场景：事件驱动型应用：以Kafka为代表的消息队列几乎都是事件驱动型应用。因为有状态，不再需要查询数据库，而是本地访问数据。这样在吞吐量和延迟上可以有更好的性能。
转载
2023-11-29 13:07:35
110阅读
编程模型此章编程模型是重点，理解Flink是如何工作的。虽然不涉及代码但非常有必要花时间阅读(2-4)节为重点1 层次抽象(Levels of Abstraction)从底向上，抽象程都由低到高，以下说明了解以下即可。最低层次的抽象仅仅提供了有状态的流。它通过流程函数嵌入到DataStream API中。它允许用户自由处理来自一个或多个流的事件，并使用一致的容错状态。此外，用户可以注册事件时间和处
转载
2024-05-11 22:42:21
34阅读
