前言： sql作为一个高级的数据处理语言，在做数据开发和数仓分析师等岗位是必不可少的一项技能，本人一开始从事数据开发偏工程的职位，随着工作需要逐渐学习sql，sql的学习入门和使用其实相对不是很难，实际生产中要深刻的理解业务并且通过sql产出结果数据是相对的比较难，所以这篇博客的意义在于使大家在使用sql的同时可以了解flink sql的原理。sql最为fli
转载
2023-08-22 19:53:16
80阅读
首先，预祝大家2020年多福多寿，少宰少难！！！ 作为2020年的第一篇博文，再不写的话就对不起大家了！！！好，废话少说，今天这篇文章主要是解决你在做实时计算的时候，将数据sink到redis的种种问题 实时计算流程框架其实比较简单，目前比较流行的也就是kafka+flink+redis或者kafka+flink+hbase了前面kafka+flink的流程稍后会专门来写，本篇主要写flink s
转载
2023-07-11 17:23:00
351阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》This connector provides access to partitioned files in filesystems supported by theFlink FileSystem abstraction.The file system connector itself is included in Flink and does not require an addi.
原创
2021-06-10 21:39:17
1333阅读
Temporal Table可以简化和加速我们对历史状态数据的查询，并减少对状态的使用。Temporal Table是将一个Append-Only表(如上时间来跟踪版本。
原创
2024-02-27 10:32:40
237阅读
为了使用关系查询处理流，必须将其转换成Table。从概念上讲，流的每条记录都被解释为对结果表的INSERT操作。本质上我们正在从
原创
精选
2024-02-27 12:13:50
253阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》This connector provides access to partitioned files in filesystems supported by theFlink FileSystem abstraction.The file system connector itself is included in Flink and does not require an addi.
原创
2021-06-10 21:39:19
886阅读
This connector provides access to partitioned files in filesystems supported by the Flink FileSystem abstraction. The file system connector itself is
转载
2020-12-23 23:34:00
1461阅读
2评论
1 简介 Catalog 提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。 数据处理最关键的方面之一是管理元数据。 元数据可以是临时的，例如临时表、或者通过 TableEnvironment 注册的 UDF。 元数据也可以是持久化的，例如 Hive Metas
转载
2020-11-06 00:19:00
1255阅读
2评论
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》1 简介Catalog 提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。数据处理最关键的方面之一是管理元数据。 元数据可以是临时的，例如临时表、或者通过 TableEnvironment 注册的 UDF。 元数据也可以是持久化的，例如 Hive Metastore 中的元数据。Catalog 提供了一个统一的API，用于管理元数据，并使其可以从
原创
2021-06-10 20:00:47
2696阅读
source作为Table&SQL API的数据源，同时也是程序的入口。当前Flink的Table&SQL API整体而言支持三种source：Table source、DataSet以及DataStream，它们都通过特定的API注册到Table环境对象。我们先来看Table source，它直接以表对象作为source。这里的表对象可细分为：Flink以Table类定义的关系表
转载
2024-06-27 08:24:36
269阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》1 简介Catalog 提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。数据处理最关键的方面之一是管理元数据。 元数据可以是临时的，例如临时表、或者通过 TableEnvironment 注册的 UDF。 元数据也可以是持久化的，例如 Hive Metastore 中的元数据。Catalog 提供了一个统一的API，用于管理元数据，并使其可以从
原创
2021-06-10 20:00:46
2875阅读
https://www.cnblogs.com/huangqingshi/p/12496743.html 随着Flink 1.10的发布，对SQL的支持也非常强大。Flink 还提供了 MySql, Hive，ES, Kafka等连接器Connector，所以使用起来非常方便。 接下来咱们针对构建流
转载
2020-11-07 12:06:00
429阅读
2评论
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》1 配置SQL 客户端启动时可以添加 CLI 选项，具体如下。./bin/sql-client.sh embedded --helpMode "embedded" submits Flink jobs from the local machine. Syntax: embedded [OPTIONS] "embedded" mode options: -
原创
2021-06-10 20:00:48
605阅读
1 配置 SQL 客户端启动时可以添加 CLI 选项，具体如下。 ./bin/sql-client.sh embedded --help Mode "embedded" submits Flink jobs from the local machine. Syntax: embedded [OPTI
转载
2020-11-05 22:48:00
607阅读
2评论
1. 启动flink-sql-client 1) 启动flink (1.10 版本) sudo ./bin/start-cluster.sh 2) 启动 sql-client sudo ./bin/sql-client.sh embedded 启动成功 会进入 flink sql> 命令行界面 (
转载
2020-11-05 22:16:00
204阅读
2评论
原文链接：http://apache-flink.147419.n8.nabble.com/flink-1-10-sql-kafka-format-json-schema-json-object-td4665.html#a4700 > 我理解你的需求是json中有一些复杂的字段，你不想解析，希望后续
转载
2020-11-18 23:33:00
581阅读
2评论
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》原文链接：http://apache-flink.147419.n8.nabble.com/flink-1-10-sql-kafka-format-json-schema-json-object-td4665.html#a4700> 我理解你的需求是json中有一些复杂的字段，你不想解析，希望后续用UDTF在来解析，这个应该做不到的，现在的jsonformat 的解析的底层实现.
原创
2021-06-10 19:59:26
2246阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》原文链接：http://apache-flink.147419.n8.nabble.com/flink-1-10-sql-kafka-format-json-schema-json-object-td4665.html#a4700> 我理解你的需求是json中有一些复杂的字段，你不想解析，希望后续用UDTF在来解析，这个应该做不到的，现在的jsonformat 的解析的底层实现.
原创
2021-06-10 19:59:25
1133阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》 随着Flink 1.10的发布，对SQL的支持也非常强大。Flink 还提供了 MySql, Hive，ES, Kafka等连接器Connector，所以使用起来非常方便。 接下来咱们针对构建流式SQL应用文章的梗概如下： 1. 搭建流式SQL应用所需要的环境准备。 2. 构建一个按每小时进行统计购买量的应用。 3. 构建每天以10分钟的粒度进行统计应用。 4
原创
2021-06-10 20:00:40
1289阅读
声明：本系列博客是根据SGG的视频整理而成，非常适合大家入门学习。《2021年最新版大数据面试题全面开启更新》 随着Flink 1.10的发布，对SQL的支持也非常强大。Flink 还提供了 MySql, Hive，ES, Kafka等连接器Connector，所以使用起来非常方便。 接下来咱们针对构建流式SQL应用文章的梗概如下： 1. 搭建流式SQL应用所需要的环境准备。 2. 构建一个按每小时进行统计购买量的应用。 3. 构建每天以10分钟的粒度进行统计应用。 4
原创
2021-06-10 19:59:33
305阅读
