1 Environment1.1 getExecutionEnvironment 创建一个执行环境，表示当前执行程序的上下文。如果程序是独立调用的，则此方法返回本地执行环境；如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境，也就是说，getExecutionEnvironment会根据查询运行的方式决定返回什么样的运行环境，是最常用的一种创建执行环境的方式。ExecutionE
转载
2024-03-28 11:50:22
81阅读
从何而来关系型API有很多好处：是声明式的，用户只需要告诉需要什么，系统决定如何计算；用户不必特地实现；更方便优化，可以执行得更高效。本身Flink就是一个统一批和流的分布式计算平台，所以社区设计关系型API的目的之一是可以让关系型API作为统一的一层，两种查询拥有同样的语义和语法。大多数流处理框架的API都是比较low-level的API，学习成本高而且很多逻辑需要写到UDF中，所以Apache
转载
2024-05-01 10:37:50
75阅读
1. API基本概念Flink程序可以对分布式集合进行转换（例如： filtering, mapping, updating state, joining, grouping, defining windows, aggregating）集合最初是从源创建的（例如，从文件、kafka主题或本地内存集合中读取）结果通过sink返回，例如，可以将数据写入(分布式)文件，或者写入标准输出(例如，命令行
转载
2021-05-06 14:51:28
209阅读
2评论
# 为小白解释如何使用 Flink DataStream API
作为一名经验丰富的开发者，我将会向你介绍如何使用 Flink DataStream API。Flink 是一个流式处理框架，可以用于处理无边界和有边界的数据流。在 Flink 中，DataStream API 用于处理无边界数据流。
## 整体流程
在使用 Flink DataStream API 的过程中，一般会经历以下
原创
2024-04-28 10:39:16
61阅读
\摘要：本文作者罗龙文，分享了如何通过 Flink CDC、Hudi、Hive、Presto 等构建数据湖。主要内容包括：测试过程环境版本说明集群服务器基础环境Hudi 编译环境配置Flink 环境配置启动 Flink Yarn Session 服务MySQL binlog 开启配置Flink CDC sink Hudi 测试代码过程Tips：点击「阅读原文」预约 FFA 2021～一、测试过程环
转载
2024-08-23 15:02:16
238阅读
本章主要介绍Flink的类型系统和支持的数据类型并介绍数据转换（data transformation）和分区转换（partition transformation）。 构建一个Flink流式数据需要以下几步： 设置执行环境 从数据源中读取一条或者多条流 通过一系列流式转换来实现应用逻辑 选择性地将
原创
2021-07-15 15:07:28
282阅读
Flink中的DataStream程序是在数据流上实现转换的常规程序(例如，filtering, updating state, defining windows, aggregating)。数据流最初是由不同的源创建的(例如，message queues, socket streams, files)。结果通过接收器返回，例如，接收器可以将数据写入文件或标准输出(例如the command li
转载
2024-05-15 11:29:59
101阅读
1、Flink 部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接13、Flink 的table api与sql的基本概念
原创
2023-12-11 13:54:09
561阅读
点赞
Flink 系列文章
1、Flink 部署、概念介绍、source、transformation、sink使用示例、四大基石介绍和示例等系列综合文章链接
13、Flink 的table api与sql的基本概念、通用api介绍及入门示例
14、Flink 的table api与sql之数据类型: 内置数据类型以及它们的属性
15、Flink 的table api与sql之流式概念-详解的介绍了动态
原创
2023-11-15 08:47:36
181阅读
点赞
简介 Flink 对批处理和流处理，提供了统一的上层 API Table API 是一套内嵌在 Java 和 Scala 语言中的查询API，它允许以非常直观的方式组合来自一些关系运算符的查询 Flink 的 SQL 支持基于实现了 SQL 标准的 Apache Calcite 示例： 先引入pom ...
转载
2021-09-15 14:30:00
860阅读
2评论
声明：本系列博客为原创，最先发表在拉勾教育，其中一部分为免费阅读部分。被读者各种搬运至各大网站。所有其他的来源均为抄袭。《2021年最新版大数据面试题全面开启更新》一、说好的流批一体呢？1、现状Flink并没有安全支持所谓的“流批一体”，即编写一套代码，可以同时支持流式计算和批量计算的场景。目前版本1.10依然采用DataSet和DataStream两套API来适配不同的应用场景。2、DataSet和DataStream的区别和联系 Flink诞生支持的设计...
原创
2021-06-10 20:20:07
1477阅读
声明：本系列博客为原创，最先发表在拉勾教育，其中一部分为免费阅读部分。被读者各种搬运至各大网站。所有其他的来源均为抄袭。《2021年最新版大数据面试题全面开启更新》一、说好的流批一体呢？1、现状Flink并没有安全支持所谓的“流批一体”，即编写一套代码，可以同时支持流式计算和批量计算的场景。目前版本1.10依然采用DataSet和DataStream两套API来适配不同的应用场景。2、DataSet和DataStream的区别和联系 Flink诞生支持的设计...
原创
2021-06-10 20:20:06
366阅读
DataStream API 主要分为 块： DataSource Transformation, SinkDataSource是程序的数据源输入，可以通过 StreamExecutionEnvironment. addSource( sourceFunction）为程序添加1个数据源 Transformation 是具体的操作，它对一个或多个输入数据源进行计算处理，比如 Map FlatMap Filter 等操作 Sink 是程序的输出，它可...
原创
2022-03-09 10:50:37
107阅读
Table API和Flink SQL简绍基本程序结构TableEnvironmetnt表（Table）输出表更新模式DataStream与表的相互转换查看执行计划时间简绍对于像DataFrame这样的关系型编程接口，因其强大且灵活的表达能力，能够让用户通过非常丰富的接口对数据进行处理，有效降低了用户的使用成本，近年来逐渐成为主流大数据
原创
2022-03-03 15:26:50
1315阅读
DataStream API 主要分为 块： DataSource Transformation, SinkDataSource是程序的数据源输入，可以通过 StreamExecutionEnvironment. addSource( sourceFunction）为程序添加1个数据源 Transformation 是具体的操作，它对一个或多个输入数据源进行计算处理，比如 Map FlatMap Filter 等操作 Sink 是程序的输出，它可...
原创
2021-09-11 10:40:17
181阅读
Flink系列文章
第01讲：Flink 的应用场景和架构模型
第02讲：Flink 入门程序 WordCount 和 SQL 实现
第03讲：Flink 的编程模型与其他框架比较
第04讲：Flink 常用的 DataSet 和 DataStream API
第05讲：Flink SQL & Table 编程和案例
第06讲：Flink 集群安装部署和 HA 配置
第07讲：Flink
原创
精选
2024-01-18 16:35:03
1415阅读
Flink 中的 DataStream 程序是对数据流（例如过滤、更新状态、定义窗口、聚合）进行转换的常规程序。数据流的起始是从各种源（例如消息队列、套接字流、文件）创建的。结果通过 sink 返回，例如可以将数据写入文件或标准输出（例如命令行终端）。Flink 程序可以在各种上下文中运行，可以独立运行，也可以嵌入到其它程序中。任务执行可以运行在本地 JVM 中，也可以运行在多台机器的集群上。
原创
精选
2022-06-26 19:18:34
559阅读
3图
说明 本文基于 Flink -1.6.0 版本进行整理和分析，如有不妥之处，敬请指正。内容一、Flink 的技术栈图片来源：https:
原创
2022-11-14 10:50:28
380阅读
该文章主要是对Flink官网相关内容进行翻译Join是批处理数据处理中常见且易于理解的操作，用于连接两个关系的行。 但是，动态表上的连接语义不太明显甚至令人困惑。在Flink中有几种方法可以使用Table API或SQL实际执行连接。对于文章中的时间属性和时态表请参考笔者之前文章。常规JOIN常规联接是最通用的join类型，其中任何新记录或对join输入两侧的任何更改都是可见的，并且会影响整个联接
转载
2024-02-23 10:13:12
45阅读
本文翻译自官网：TableAPIhttps://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/tableApi.htmlTableAPI是用于流和批处理的统一的关系API。TableAPI查询可以在批处理或流输入上运行而无需修改。TableAPI是SQL语言的超集，是专门为与ApacheFlink配合使用而设计的。Tab
原创
2021-02-08 12:31:38
660阅读
