下面有两种API，分别是Apache社区的原生Flink API，还有一种是经过阿里优化过的一种APi，叫做Blink，两种API对于Batch和Stream有一些区别1：Blink对于“批”表会当做“流”表处理，所以“批”表和Dataset之间是不可以转换的，而DataSet回当做DataStream程序去处理，而DataStream和“流”表之间可以相互转换的。package flinkjav
抛出问题首先来思考一个问题，我们在提交 Flink 任务的时候，在 F
原创
2022-05-23 12:49:53
520阅读
在 Flink 1.13.0 版本中增加了很多新特征,具体可以参考前面一篇文章,其中很重要的一点是对 sql-client 功能做了加强,支持了初始化脚本和执行 SQL 文件,SQL 客户...
原创
2021-08-16 14:50:33
1919阅读
1、官网: https://ci.apache.org/projects/flink/flink-docs-release-1.7/concepts/programming-model.html#windows （建议大家多看看官网） 2、什么是Window而窗口（window）就是从 Streaming 到 Batch 的一个桥梁。Fl
转载
2024-03-21 10:51:30
61阅读
# 如何实现flink java SQL Client
## 一、整体流程
首先，我们需要明确整个实现flink java SQL Client的流程，下面是具体的步骤表格：
```mermaid
erDiagram
Process -- Step 1: 下载flink SQL Client jar包
Process -- Step 2: 配置SQL Client环境
原创
2024-03-17 05:39:53
66阅读
文章目录一、Over 聚合介绍二、案例2.1、行数聚合2.2、时间聚合2.3、在一个 SELECT 中有多个聚合窗口的聚合方式 一、Over 聚合介绍Over 聚合定义（支持 Batch\Streaming）：可以理解为是一种特殊的滑动窗口聚合函数。那这里我们拿 Over 聚合 与 窗口聚合 做一个对比，其之间的最大不同之处在于：窗口聚合：不在 group by 中的字段，不能直接在 selec
转载
2023-10-24 00:21:54
87阅读
本文大纲 一、Flink 官方文档这么全面，为什么还要读 Flink 源码读文档和读源码的目的是不一样的，就拿 Apache Flink 这个项目来说，如果你想知道 Flink 的使用功能，设计思想，实现原理，看官方文档就足够了；如果你想了解的就是具体细节，比如说 StreamGraph 是怎么生成的或者是 Exactly Once 究竟如何实现的，那么就需要去阅读源码了。关键是看你的目的是什么
转载
2024-05-09 12:36:48
23阅读
flink sql表查询详解1、高阶聚合group by cube(维度1, 维度2, 维度3)
group by grouping sets( (维度1,维度2),(维度1,维度3),() )
group by rollup(省,市,区)语法示例：select
privince,
city,
region,
count(distinct uid) as u_cnt
from
转载
2024-03-03 13:37:06
40阅读
使用工具Flink SQL Client完成各种实时处理的操作
推荐
原创
2022-03-31 08:08:19
1045阅读
# 从Flink SQL Client查询HBase
## 简介
Apache Flink是一个流处理引擎，可以处理无界和有界数据流。Flink SQL是Flink的一种查询语言，可以让用户用SQL语句来查询流数据。HBase是一个分布式的NoSQL数据库，常用于存储大数据。
在本文中，我们将介绍如何使用Flink SQL Client来查询HBase中的数据。我们将使用Flink SQL
原创
2024-06-17 04:08:18
68阅读
文章目录Accumulator源码分析学习Accumulator源码结构Accumulator 结构成员方法SimpleAccumulator累加器使用案例
原创
2022-09-02 13:59:56
459阅读
一、絮叨两句新的一年又来了，不知道大家有没有立几个每年都完不成的 FLAG ？反正我立了，我今年给自己立的 FLAG 是大致阅读大数据几个框架的源码。为什么要“大致”阅读，因为这些牛逼的框架都是层层封装，搞懂核心原理已经是很不易，更别谈熟读源码了。但是目标还是要有的，我也不要当一条咸鱼。之前几篇源码阅读的文章，不知道大家有没有亲自动手打开 Idea 去试一试，这里我再贴一下文章链接，大家可以再回顾
转载
2024-08-14 17:19:14
71阅读
w三、基本流程分析 刚刚相信你感性的认识了一把在 IDEA 里提交 Flink 任务的过程了，其实这个过程不算太复杂，我画了一个图如下 1. 浏览一下 main 方法 就四个大步骤，主要逻辑在最后
转载
2021-02-06 23:34:00
204阅读
2评论
flink-clients 代码，然后远程提交给 flink standalone 集群上去执
转载
2021-02-06 23:30:00
523阅读
2评论
本文将基于 Kafka, MySQL, Elasticsearch, Kibana，使用 Flink SQL 构建一个电商用户行为的实时分析应用。
最终效果图片环境准备创建一个目录,并切换到改目录[root@bigdata1 ~]# mkdir -p /opt/module/flink-sql/
[root@bigdata1 ~]# cd /opt/mo
转载
2024-05-06 13:31:44
215阅读
Exactly Once 语义在 Flink 中的实现1.数据流和动态表1.1 随处可见的流式数据1.2 传统SQL和流处理特征SQL流处理处理数据的有界性处理的表是有界的流是一个无限元组序列处理数据的完整性执行查询可以访问完整的数据执行查询无法访问所有的数据执行时间批处理查询产生固定大小结果后终止查询不断更新结果，永不终止 1.3 数据流和动态表转换Stream -> Dynamic Ta
转载
2023-12-07 16:42:57
54阅读
1、IDEA配制 1.1安装scala插件 1.2 配制maven 修改IDEA的maven为本地安装的maven： IntelliJ IDEA -> Preferences 如上图，配制的目的，是为了让编译源码时用
转载
2021-01-26 15:27:00
1836阅读
2评论
在上一篇文章中，分析到了TriggerCheckpoint消息发送的过程，现在继续分析TriggerCheckpoint消息接收的过程。TriggerCheckpoint消息的发送是在JobMaster端，接收消息那么就是在TaskManager类中，我们查看源码发现TaskManager.scala文件中有个handleMessage的方法，这个方法就是用于接收消息的入口方法，这这个
转载
2024-08-08 19:39:21
74阅读
文章目录flink-annotations源码分析Flink-annotation类图关系docs下的三个注解ConfigGroupCOnfigGroupsDocume
原创
2022-09-02 14:02:08
228阅读
