Flink使用 DataSet 和 DataStream 代表数据集。DateSet 用于批处理，代表数据是有限的，而 DataStream 用于流数据，代表数据是无界的。数据集中的数据是不可以变的，也就是说不能对其中的元素增加或删除。我们通过数据源创建 DataSet 或者 DataStream ，通过 map，filter 等转换（transform）操作对数据集进行操作产生新的数据集。
编写
转载
2020-03-15 17:25:00
53阅读
2评论
上一篇介绍了编写 Flink 程序的基本步骤，以及一些常见 API，如：map、filter、keyBy 等，重点介绍了 keyBy 方法。本篇将继续介绍 Flink 中常用的 API，主要内容为：
1.指定 transform 函数2.Flink 支持的数据类型3.累加器
1、指定 transform 函数——转换操作许多 transform 操作需要用户自定义函数来实现，Flink 支持多种自
转载
2020-03-24 11:37:00
87阅读
2评论
输入： 1689999831,test,31.25。
原创
2024-03-29 16:29:15
25阅读
一、Flink 整体架构 Flink 集群整体遵循 Master ，Worker 这样的架构模式。JobManager 是管理节点，有以下几个职责：接受 application，包含 StreamGraph（DAG），JobGraph（优化过的）和 JAR，将 JobGraph 转换为 Execution Graph申请资源，调度任务，执行任务，保存作业的元数据，如Checkpoint协调各个
转载
2024-07-28 14:12:58
46阅读
本文分享自天翼云开发者社区《Flink
与Flink可视化平台StreamPark教程（DataStreamApi基本使用）》，作者：l****nDataStreamApidataStreamApi是一切的基础，处于调度flink程序处理任务的起点。Flink 有非常灵活的分层 API 设计，其中的核心层就是 DataStream/DataSet API。由于新版本已经实现了流批一体，DataSe
Queryable StateArchiectureClient连接其中的⼀个代理服务器然后发送查询请求给Proxy服务器，查询指定key所对应的状态数据，底层Flink按照KeyGroup的⽅式管理Keyed State，这些KeyGroup被分配给了所有的TaskMnager的服务。每个TaskManage服务有多个KeyGroup状态的存储。为了找到查询key所在的KeyGroup所属地Ta
转载
2024-09-25 20:16:59
31阅读
1 Flink简介Apache Flink® — Stateful Computations over Data StreamsApache Flink 是一个框架和分布式处理引擎，用于在无边界和有边界数据流上进行有状态的计算。Flink 能在所有常见集群环境中运行，并能以内存速度和任意规模进行计算。1.1 处理无界和有界数据任何类型的数据都可以形成一种事件流。信用卡交易、传感器测量、机器日志、网
转载
2024-03-08 15:26:46
31阅读
PS: 这里常说的 Job = 一个应用Task = 一个任务总的来讲：1.Flink应用程序会首先提交给JobClient，做解析和算子链化2.然后会提交给JobManager，进行资源分配，将任务分给TaskManager3.TaskManager会启动相应的Slot线程，进行任务处理，在处理过程中会持续向JobManager，返回任务状态（任务开始，进行中，已完成等）4.任务执行完以后，执行
转载
2023-07-18 13:19:15
191阅读
