1. 版本说明本文档内容基于flink-1.14.x，其他版本的整理，请查看本人博客的 flink 专栏其他文章。2. 介绍Flink SQL有一组丰富的本地数据类型可供用户使用。数据类型描述表生态系统中值的逻辑类型，它可用于声明操作的输入和/或输出类型。Flink的数据类型类似于SQL标准的数据类型，但也包含了关于值是否为空的信息，以便有效地处理标量表达式。数据类型的例子有:INTINT NOT
转载
2024-01-28 06:29:33
50阅读
1. 版本说明本文档内容基于flink-1.15.x，其他版本的整理，请查看本人博客的 flink 专栏其他文章。2. 简介2.1. 介绍Flink的Table API和SQL程序可以连接到其他外部系统，用于读写批处理表和流处理表。 表source提供对存储在外部系统(如数据库、键值存储、消息队列或文件系统)中数据的访问。表sink向外部存储系统发送数据。根据source和sink的类型，它们支持
转载
2024-04-28 12:27:38
34阅读
# 使用Flink SQL连接HBase
在大数据领域，Apache Flink 是一个流处理引擎，它提供了广泛的数据处理功能和灵活的编程接口。而HBase 是一个分布式的非关系型数据库，可以处理大规模的数据集。
本文将介绍如何使用 Flink SQL 连接 HBase，并进行数据的读写操作。首先，我们需要了解 Flink SQL 和 HBase 的基本概念和使用方式。
## Flink S
原创
2024-01-02 03:21:43
231阅读
写在前面1、了解upsert kafka、JDBC、FileSystem、等连接器的使用场景，使用过程核心要点， 2、掌握cdc连接器的使用要点，完成源码编译过程； 3、问题：在flinkSQL中，端到端的一致性是通过什么方式保证的？ 答： 1、upsert kafka本身是为了解决flink向kafka写数据是append-only的模式【只有+I这一种Changemode】，使用过程中注意需要
Flink系列之：Apache Kafka SQL 连接器一、Apache Kafka SQL 连接器二、依赖三、创建Kafka 表四、可用的元数据五、连接器参数六、特性七、Topic 和 Partition 的探测八、起始消费位点九、有界结束位置十、CDC 变更日志（Changelog） Source十一、Sink 分区十二、一致性保证十三、Source 按分区 Watermark十四、安全十
转载
2024-07-24 20:38:04
169阅读
zeppelin简介Flink SQL的默认开发方式是通过Java/Scala API编写，与纯SQL化、平台化的目标相去甚远。目前官方提供的FlinkSQL Client仅能在配备Flink客户端的本地使用，局限性很大。而Ververica开源的Flink SQL Gateway组件是基于REST API的，仍然需要二次开发才能供给上层使用，并不是很方便。
鉴于有很多企业都无法配备专门的团队来
Flink 在流式计算里属于真正意义上的单条处理，每一条数据都触发计算，而不是像 Spark 一样的 Mini Batch 作为流式处理的妥协。Flink的容错机制较为轻量，对吞吐量影响较小，而且拥有图和调度上的一些优化，使得 Flink 可以达到很高的吞吐量。而 Strom 的容错机制需要对每条数据进行ack，因此其吞吐量瓶颈也是备受诟病。一句话: 更接近真实世界二、工作原理JobC
1.概述转载：Flink 源码阅读笔记（19）- Flink SQL 中流表 Join 的实现在使用 SQL 进行数据分析的过程中，关联查询是经常要使用到的操作。在传统的 OLTP 和 OLAP 领域中，关联查询的数据集都是有界的，因此可以依赖于缓存有界的数据集进行查询。但是在 Streaming SQL 中，针对 Stream Join Stream 的情况，由于关联查询的两侧都是连续无界的数据
转载
2023-09-15 21:37:09
200阅读
Flink自定义Catalog之oracle概述Catalog提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。Catalog 提供了一个统一的API，用于管理元数据，并使其可以从 Table API 和 SQL 查询语句中来访问。从Flink1.15后官方提供了oracle版Table的DDL定义未提供catalog的DDL定义。为满足大数据中间件要求，参考
转载
2024-04-25 11:49:20
214阅读
聊什么在《SQL概览》中我们介绍了JOIN算子的语义和基本的使用方式，介绍过程中大家发现Apache Flink在语法语义上是遵循ANSI-SQL标准的，那么再深思一下传统数据库为啥需要有JOIN算子呢？在实现原理上面Apache Flink内部实现和传统数据库有什么区别呢？本篇将详尽的为大家介绍传统数据库为什么需要JOIN算子，以及JOIN算子在Apache Flink中的底层实现原理
转载
2024-01-03 20:39:54
163阅读
# Flink SQL 连接 MySQL 时区问题的解决方案
## 概述
在使用 Apache Flink SQL 连接 MySQL 时，时区问题常常导致数据不一致性。本文将指导你如何正确设置时区以避免这些问题，确保在数据流和查询中都是一致的。
### 解决方案流程
以下是实现的流程：
| 步骤 | 动作 | 描述
原创
2024-09-28 05:23:58
139阅读
## Flink SQL 连接 MySQL Maven 依赖实现步骤
### 流程图
```mermaid
flowchart TD
A(创建 Maven 项目) --> B(添加 Flink SQL 依赖)
B --> C(编写 Flink SQL 代码)
C --> D(运行 Flink SQL 代码)
```
### 状态图
```mermaid
stateD
原创
2024-01-23 07:27:28
214阅读
流处理中的特殊概念前言一、流处理和关系代数（表，及 SQL）的区别二、动态表（Dynamic Tables)三、流式持续查询的过程1.将流转换成表（Table）2.持续查询（Continuous Query）3.将动态表转换成流四、时间特性1.处理时间（Processing Time）2.事件时间（Event Time）2.读入数据总结 前言table API和SQL，原本是基于有界数据操作的（
Flink-FilesystemConnector和HiveConnector摘要本文基于Flink 1.11，主要讲解最新的基于Flink StreamingFileSink的FilesystemConnector和HiveConnector，包括理论、配置和源码分析。1 FileSystemConnector1.1 概述可读写本地或分布式文件系统（如HDFS）。注意，File System C
转载
2023-08-03 18:56:19
836阅读
# 使用 Flink SQL 连接 Redis 参数详情
## 简介
在本篇文章中，我将向你介绍如何使用 Flink SQL 连接 Redis。我们将通过以下步骤实现目标：
1. 准备工作
2. 安装 Flink
3. 安装 Redis
4. 创建 Flink 作业
5. 使用 Flink SQL 连接 Redis
让我们逐步进行，确保你能够轻松理解并成功实现目标。
## 1. 准备工作
原创
2023-10-15 13:20:22
184阅读
如今的大数据批计算，随着 Hive 数仓的成熟，普遍的模式是 Hive metastore + 计算引擎。常见的计算引擎有 Hive on MapReduce、Hive on Tez、Hive on Spark、Spark integrate Hive、Presto integrate Hive，还有随着 Flink 1.10 发布后生产可用的 Flink Batch SQL。Flink 作为一个
转载
2023-08-03 18:56:54
370阅读
下面来具体介绍一下MongoDB - 连接，请大家多多关注！！！！！启动 MongoDB 服务在前面的教程中，我们已经讨论了如何启动 MongoDB 服务，你只需要在 MongoDB 安装目录的 bin 目录下执行 mongodb 即可。执行启动操作后，mongodb 在输出一些必要信息后不会输出任何信息，之后就等待连接的建立，当连接被建立后，就会开始打印日志信息。你可以使用 MongoDB sh
转载
2023-08-21 13:11:59
453阅读
1 MongoDB 简介MongoDB 是一个基于分布式文件存储的数据库。由 C++ 语言编写。旨在为 WEB 应用提供可扩展的高性能数据存储解决方案。MongoDB 是一个介于关系数据库和非关系数据库之间的产品，是非关系数据库当中功能最丰富，最像关系数据库的。MongoDB 中的递归关系：MongoDB的一个实例可以拥有多个相互独立的数据库（database），每个数据库都拥有自己的集合；集合（
转载
2024-05-21 12:54:48
34阅读
昨天在头条发的 《请不要再无条件推荐Nginx-gridfs插件访问MongoDB》就是我踩的坑之一，为了让大家少踩坑，整理这份安装文档给大家使用，节省大家宝贵时间。话不多说，开整！系统：CentOS7.2MongoDB：4.2.1具体版本请参考MongoDB下载中心https://www.mongodb.com/download-center/community 主站最新稳定版4.2.1
转载
2024-08-16 16:28:48
183阅读
第8章 MongoDB - 连接教程在本教程咱们将讨论 MongoDB 的不同连接方式。启动 MongoDB 服务在前面的教程中，咱们已经讨论了如何启动 MongoDB 服务，帅哥只需要在 MongoDB install 目录的 bin 目录下执行 mongodb 即可。执行启动操作后，mongodb 在输出一些必要信息后不会输出任何信息，之后就等待连接的建立，当连接被建立后，就会开始打印日志信息
转载
2023-12-11 14:57:25
53阅读
