flink
原创
2023-02-13 09:37:07
79阅读
Flink的API分层注：越底层API越灵活，越上层的API越轻便
Stateful Stream Processing
• 位于最底层， 是core API 的底层实现
• processFunction
• 利用低阶，构建一些新的组件或者算子
• 灵活性高，但开发比较复杂
Core API
• DataSet - 批处理 API
• DataStream –流处理 API
Table API
转载
2024-01-13 16:15:19
67阅读
结果分区消费端在前一篇，我们讲解了生产者分区，生产者分区是生产者任务生产中间结果数据的过程。消费者任务在获得结果分区可用的通知之后，会发起对数据的请求。我们仍然以生产者分区的例子作为假设，其在消费端示意图如下：可以看到在生产端和消费端存在对等的模型，具体ResultSubpartition中的数据如何被消费，我们将在本篇进行深入剖析。输入网关输入网关（InputGate）用于消费中间结果（Inte
转载
2024-04-24 21:36:02
31阅读
DataStream API（一）在了解DataStream API之前我们先来了解一下Flink API的构成。Flink API是分层的。由最底层的Stateful Stream Process到最顶层的SQL分为四层。如下图：DataStream API 顾名思义，就是DataStream类的API，DataStream表示Flink程序中的流式数据集合。它是一个包含重复项的不可变数据集合，
转载
2024-04-09 13:56:17
188阅读
前面我们尝试用flink写了一个WordCount程序，并且介绍了flink提供的api层级，接下来我们正式来学习flink的DataStream API。为什么先学习DataStream API，而不是ProcessFunction API，这是因为ProcessFunction API是通过DataStream API调用的，它作为DataStream API的补充，可以实现DataStrea
转载
2024-03-19 16:52:04
7阅读
split 1.DataStream → SplitStream 2.按照指定标准将指定的DataStream拆分成多个流用SplitStream来表示 select 1.SplitStream → DataStream 2.跟split搭配使用，从SplitStream中选择一个或多个流
转载
2024-03-14 16:07:32
81阅读
参考自flink中文文档https://nightlies.apache.org/flink/flink-docs-release-1.16/zh/docs/concepts/overview/Flink 中的 API
Flink 为流式/批式处理应用程序的开发提供了不同级别的抽象最顶层抽象是 SQL，这层抽象在语义和程序表达式上都类似于 Table API，但是其程序实现都是 SQL 查询表达式
转载
2024-04-07 21:01:29
73阅读
第 5 章 DataStream API（基础篇）我们在第 2 章介绍 Flink 快速上手时，曾编写过一个简单的词频统计（WordCount）程序，相信读者已经对 Flink 的编程方式有了基本的认识。接下来，我们就将开始大量的代码练习，详细了解用于 Flink 程序开发的 API 用法。Flink 有非常灵活的分层 API 设计，其中的核心层就是 DataStream/DataSet API。
转载
2024-03-29 15:47:51
40阅读
前言 说实话，其实敲到最后，才大概了解代码到底应该怎么敲，7层的作用到底是什么，继承、封装、抽象也都不是口头上说说，大致上理解理解，更多的还是需要去实践啊！7层UI层：接受用户的数据，呈现用户所需要的数据，并且进行一些简单的业务处理，例如判断数据输入的有效性、显示各种异常。调用facade层和entity层。每个判断最好都加一个try-catch。facade层
转载
2024-03-18 08:24:19
13阅读
1.Flink中重要的角色JobManager 处理器： 也称之为 Master， 用于协调分布式执行， 它们用来调度 task， 协调检查点， 协调失败时恢复等。 Flink 运行时至少存在一个 master 处理器， 如果配置高可用模式则会存在多个 master 处理器， 它们其中有一个是 leader， 而其他的都是 standby。TaskManager 处理器： 也称之为 Worker，
转载
2024-06-25 08:42:37
24阅读
本章将深入分析 Flink 分布式运行时架构如何实现这些概念。概览Flink 中的 APIFlink 为流式/批式处理应用程序的开发提供了不同级别的抽象。Flink API 最底层的抽象为有状态实时流处理。其抽象实现是 Process Function，并且 Process Function 被 Flink 框架集成到了 DataStream API 中来为我们使用。它允许用户在应用程序中自由地处
转载
2024-04-06 08:59:10
83阅读
第七章 API及系统架构介绍一、系统架构介绍Flink系统架构主要分为APIs & Libraries、Core和Deploy三层，如图所示APIs层：主要实现了面向流处理对应的DataStream API，面向批处理对应的DataSet APILibraries层：也被称作Flink应用组件层，是根据API层的划分，在API层之上构建满足了特定应用领域的计算框架，分别对应了面向流处理和面
转载
2024-03-20 23:12:06
34阅读
Flink四大基石Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。 Checkpoint这是Flink最重要的一个特性。Flink基于Chandy-Lamport算法实现了一个分布式的一致性的快照，从而提供了一致性的语义。Chandy-Lamport算法实际上在1985年的时候已经被提出来，但并没有被很广泛的应用，而Flin
转载
2024-05-22 10:24:04
356阅读
对无界数据集的连续处理在我们详细介绍Flink之前，让我们从更高的层面上回顾处理数据时可能遇到的数据集的类型以及您可以选择处理的执行模型的类型。这两个想法经常被混淆，清楚地区分它们是有用的。首先，两种类型的数据集无界：连续追加的无限数据集有界：有限的，不变的数据集传统上被认为是有限或“批量”数据的许多实际数据集实际上是无界数据集。无论数据是存储在HDFS上的目录序列还是像Apache Kafka这
转载
2024-05-04 19:53:58
48阅读
由于工作需要最近学习flink 现记录下Flink介绍和实际使用过程 这是flink系列的第二篇文章 Flink DataStream API 介绍及使用Flink 中的 APIDataStream 介绍DataStream API 程序剖析获取一个执行环境加载/创建初始数据指定数据相关的转换指定计算结果的存储位置触发程序执行 Flink 中的 API 这里介绍我们常用的DataStream AP
转载
2024-03-21 11:53:56
56阅读
1.Environment1.1 getExecutionEnvironment 创建一个执行环境，表示当前执行程序的上下文。 如果程序是独立调用的，则此方法返回本地执行环境；如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境，也就是说，getExecutionEnvironment会根据查询运行的方式决定返回什么样的运行环境，是最常
转载
2024-08-16 13:49:38
38阅读
API的基本概念Flink 程序是一种能够对分布式集合进行转换（transformation）的常规程序，比如：过滤、映射、更新状态、联合、分组、定义窗口、聚合等。集合（Collections ）最初是通过源（sources ）来创建（例如：从文件中读取、KAFKA 主题、或者来源于本地，以及从内存中收集）。处理结果是通过槽（sinks）返回的，它可以写入文件（包括分布式文件系统，如HBase），
转载
2024-04-07 21:50:03
40阅读
Spring 框架是一个分层架构，由 7 个定义良好的模块组成。Spring 模块构建在核心容器之上，核心容器定义了创建、配置和管理 bean 的方式组成 Spring 框架的每个模块（或组件）都可以单独存在，或者与其他一个或多个模块联合实现。每个模块的功能如下：核心容器：核心容器提供 Spring 框架的基本功能。核心容器的主要组件是 BeanFactory，它是工厂模式的实现。Bea
转载
2024-04-16 13:37:53
85阅读
1. Flink四大基石Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。Checkpoint 这是Flink最重要的一个特性。 Flink基于Chandy-Lamport算法实现了一个分布式的一致性的快照，从而提供了一致性的语义。 Chandy-Lamport算法实际上在1985年的时候已经被提出来，但并没有被很广泛的应用，而Fl
Flink程序是实现分布式集合转换的常规程序。集合最初是从源创建的。通过接收器(slink)返回结果，接收器可以将数据写到某个文件或stdout。Flink可以在各种环境(context)中运行，本地JVM或集群。1.数据集和数据流Flink用特殊的类DataSet and DataStream来表示程序中的数据。可以认为他们是可以包含重复数据的不可变数据集合。在DataSet
转载
2024-03-19 20:58:55
123阅读
