文章目录1、基于文件(1)、readTextFile(path)- TextInputFormat(2)、readFile(fileInputFormat, path)(3)、(fileInputFormat, path, watchType, interval, pathFilter, typeInfo)2、插座为基础socketTextStream3、基于集合(1)、fromCollecti
转载
2024-02-08 06:09:16
52阅读
一、内存模型 从大的方面来说，TaskManager进程的内存模型分为JVM本身所使用的内存和Flink使用的内存，Flink使用了堆上内存和堆外内存。1.Flink使用的内存 1）JVM堆上内存 a.
转载
2024-03-15 14:42:59
19阅读
深入解析Flink网络协议栈 05 Jun 2019 Nico KruberFlink的网络协议栈是Flink的核心组件之一，构成了flink-runtime模块，并且是每个Flink job运行的关键。协议栈连接了所有TaskManager的独立工作单元（subtasks）。这是用户输入的流式数据传输的载体，因此对于Flink job的吞吐量、延时的性能至关重要。TaskManager和JobM
Flink四大基石Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。 Checkpoint这是Flink最重要的一个特性。Flink基于Chandy-Lamport算法实现了一个分布式的一致性的快照，从而提供了一致性的语义。Chandy-Lamport算法实际上在1985年的时候已经被提出来，但并没有被很广泛的应用，而Flin
转载
2024-05-22 10:24:04
356阅读
由于工作需要最近学习flink 现记录下Flink介绍和实际使用过程 这是flink系列的第二篇文章 Flink DataStream API 介绍及使用Flink 中的 APIDataStream 介绍DataStream API 程序剖析获取一个执行环境加载/创建初始数据指定数据相关的转换指定计算结果的存储位置触发程序执行 Flink 中的 API 这里介绍我们常用的DataStream AP
转载
2024-03-21 11:53:56
56阅读
1.Environment1.1 getExecutionEnvironment 创建一个执行环境，表示当前执行程序的上下文。 如果程序是独立调用的，则此方法返回本地执行环境；如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境，也就是说，getExecutionEnvironment会根据查询运行的方式决定返回什么样的运行环境，是最常
转载
2024-08-16 13:49:38
38阅读
API的基本概念Flink 程序是一种能够对分布式集合进行转换（transformation）的常规程序，比如：过滤、映射、更新状态、联合、分组、定义窗口、聚合等。集合（Collections ）最初是通过源（sources ）来创建（例如：从文件中读取、KAFKA 主题、或者来源于本地，以及从内存中收集）。处理结果是通过槽（sinks）返回的，它可以写入文件（包括分布式文件系统，如HBase），
转载
2024-04-07 21:50:03
40阅读
DataStream API（一）在了解DataStream API之前我们先来了解一下Flink API的构成。Flink API是分层的。由最底层的Stateful Stream Process到最顶层的SQL分为四层。如下图：DataStream API 顾名思义，就是DataStream类的API，DataStream表示Flink程序中的流式数据集合。它是一个包含重复项的不可变数据集合，
转载
2024-04-09 13:56:17
188阅读
一、Flink核心API Flink中提供了4种不同层次的API，每种API在简洁和易表达之间有自己的权衡，适用于不同的场景。目前上面3个会用得比较多。1、低级API(Stateful Stream Processing)：提供了对时间和状态的细粒度控制，简洁性和易用性较差，主要应用在一些复杂事件处理逻辑上。 2、核心API(DataStream/DataSet API)：主要提供了针对流数据和批
转载
2024-02-21 15:04:56
86阅读
Flink程序是实现分布式集合转换的常规程序。集合最初是从源创建的。通过接收器(slink)返回结果，接收器可以将数据写到某个文件或stdout。Flink可以在各种环境(context)中运行，本地JVM或集群。1.数据集和数据流Flink用特殊的类DataSet and DataStream来表示程序中的数据。可以认为他们是可以包含重复数据的不可变数据集合。在DataSet
转载
2024-03-19 20:58:55
123阅读
一、API 现成的类（程序）Java API是java（Oracle）提供的系统标准API。第三方的jar包API，如：JUnit.jar。可以自己开发一些API。一般情况下任何技术都有现成的API。 二、文档注释java源代码中，/**...*/可以用于生成手册。在文档中，可以使用@定义手册的段落，格式：@author @see利用java开发工具命令javadoc可以生成JavaHT
转载
2023-07-05 10:36:07
157阅读
1. Flink四大基石Flink之所以能这么流行，离不开它最重要的四个基石：Checkpoint、State、Time、Window。Checkpoint 这是Flink最重要的一个特性。 Flink基于Chandy-Lamport算法实现了一个分布式的一致性的快照，从而提供了一致性的语义。 Chandy-Lamport算法实际上在1985年的时候已经被提出来，但并没有被很广泛的应用，而Fl
Flink中的DataStream程序是在数据流中实现transformation操作(如:过滤、修改状态、定义窗口、聚合等)的常规程序。数据流通过各种source(如: 消息队列、socket流、文件等)来创建，结果通过sink返回，可能是将数据写入文件中或者标准输出(如:命令行终端输出)。Flink程序可以在不同的情况下执行，以独立的程序执行或者嵌入其他程序中执行。执行过程可以发生
转载
2024-05-11 23:56:25
69阅读
结果分区消费端在前一篇，我们讲解了生产者分区，生产者分区是生产者任务生产中间结果数据的过程。消费者任务在获得结果分区可用的通知之后，会发起对数据的请求。我们仍然以生产者分区的例子作为假设，其在消费端示意图如下：可以看到在生产端和消费端存在对等的模型，具体ResultSubpartition中的数据如何被消费，我们将在本篇进行深入剖析。输入网关输入网关（InputGate）用于消费中间结果（Inte
转载
2024-04-24 21:36:02
31阅读
文章目录Flink SQL IntroductionAggregationWindow AggregationGroup Aggregationwindow 聚合与非 window 聚合的区别自定义函数自定义标量函数 UDF自定义聚合函数 UDAF自定义表值函数 UDTF Flink SQL Introduction声明式 API，也是 Flink 最高层的 API，易于使用。自动优化，屏蔽 S
转载
2024-03-14 06:38:39
41阅读
Flink 已经拥有了强大的 DataStream/DataSet API，可以基本满足流计算和批计算中的所有需求。为什么还需要 Table & SQL API 呢？首先 Table API 是一种关系型API，类 SQL 的API，用户可以像操作表一样地操作数据，非常的直观和方便。用户只需要说需要什么东西，系统就会自动地帮你决定如何最高效地计算它，而不需要像 DataStream 一样写
转载
2023-07-25 23:28:11
141阅读
基本概念 窗口 window 一般真实的流都是无界的，怎样处理无界的数据？ 可以把无限的数据流进行切分，得到有限的数据集进行处理 —— 也就是得到有界流 窗口（window）就是将无限流切割为有限流的一种方式，它会将流数据分发到有限大小的桶（bucket）中进行分析 window类型： 时间窗口：按 ...
转载
2021-09-03 14:43:00
435阅读
2评论
# 为小白解释如何使用 Flink DataStream API
作为一名经验丰富的开发者，我将会向你介绍如何使用 Flink DataStream API。Flink 是一个流式处理框架，可以用于处理无边界和有边界的数据流。在 Flink 中，DataStream API 用于处理无边界数据流。
## 整体流程
在使用 Flink DataStream API 的过程中，一般会经历以下
原创
2024-04-28 10:39:16
61阅读
一.简介DataSet API，对静态数据进行批处理操作，将静态数据抽象成分布式数据集，用户可以方便地使用Flink提供的各种操作符对分布式数据集进行处理。Flink先将接入数据（如可以通过读取文本或从本地集合）来创建转换成DataSet数据集，并行分布在集群的每个节点上；然后将DataSet数据集进行各种转换操作（map，filter，union，group等）最后通过DataSink操作将结果数据集输出到外部系统。流程获得一个执行环境（ExecutionEnvironment）加载/创建初
原创
2021-08-31 09:13:23
220阅读
五类Kafka客户端作用和区别在上文中介绍了如何搭建一个Kafka服务，那么在开发中我们要如何去访问、集成Kafka呢？这就需要使用到本文将要介绍的Kafka客户端API。下图是官方文档中的一个图，形象表示了能与Kafka集成的客户端类型：这些客户端通过API与Kafka进行集成，Kafka的五类客户端API类型如下：AdminClientAPI：允许管理和检测Topic、broker以及其他Ka
原创
精选
2020-05-16 18:47:53
10000+阅读
点赞
