Flink系列之：Apache Kafka SQL 连接器一、Apache Kafka SQL 连接器二、依赖三、创建Kafka 表四、可用的元数据五、连接器参数六、特性七、Topic 和 Partition 的探测八、起始消费位点九、有界结束位置十、CDC 变更日志（Changelog） Source十一、Sink 分区十二、一致性保证十三、Source 按分区 Watermark十四、安全十
转载
2024-07-24 20:38:04
169阅读
1. 版本说明本文档内容基于flink-1.14.x，其他版本的整理，请查看本人博客的 flink 专栏其他文章。2. 介绍Flink SQL有一组丰富的本地数据类型可供用户使用。数据类型描述表生态系统中值的逻辑类型，它可用于声明操作的输入和/或输出类型。Flink的数据类型类似于SQL标准的数据类型，但也包含了关于值是否为空的信息，以便有效地处理标量表达式。数据类型的例子有:INTINT NOT
转载
2024-01-28 06:29:33
50阅读
1. 版本说明本文档内容基于flink-1.15.x，其他版本的整理，请查看本人博客的 flink 专栏其他文章。2. 简介2.1. 介绍Flink的Table API和SQL程序可以连接到其他外部系统，用于读写批处理表和流处理表。 表source提供对存储在外部系统(如数据库、键值存储、消息队列或文件系统)中数据的访问。表sink向外部存储系统发送数据。根据source和sink的类型，它们支持
转载
2024-04-28 12:27:38
34阅读
TDengine2.0快速入门，JAVA连接TDengine（一）TDengine简介快速安装JAVA集成原生JDBC链接 TDengine 简介 TDengine是涛思数据面对高速增长的物联网大数据市场和技术挑战推出的创新性的大数据处理产品，它不依赖任何第三方软件，也不是优化或包装了一个开源的数据库或流式计算产品，而是在吸取众多传统关系型数据库、NoSQL数据库、流式计算引擎、消息队列等
转载
2023-11-17 15:36:46
357阅读
# 使用Flink SQL连接HBase
在大数据领域，Apache Flink 是一个流处理引擎，它提供了广泛的数据处理功能和灵活的编程接口。而HBase 是一个分布式的非关系型数据库，可以处理大规模的数据集。
本文将介绍如何使用 Flink SQL 连接 HBase，并进行数据的读写操作。首先，我们需要了解 Flink SQL 和 HBase 的基本概念和使用方式。
## Flink S
原创
2024-01-02 03:21:43
231阅读
写在前面1、了解upsert kafka、JDBC、FileSystem、等连接器的使用场景，使用过程核心要点， 2、掌握cdc连接器的使用要点，完成源码编译过程； 3、问题：在flinkSQL中，端到端的一致性是通过什么方式保证的？ 答： 1、upsert kafka本身是为了解决flink向kafka写数据是append-only的模式【只有+I这一种Changemode】，使用过程中注意需要
zeppelin简介Flink SQL的默认开发方式是通过Java/Scala API编写，与纯SQL化、平台化的目标相去甚远。目前官方提供的FlinkSQL Client仅能在配备Flink客户端的本地使用，局限性很大。而Ververica开源的Flink SQL Gateway组件是基于REST API的，仍然需要二次开发才能供给上层使用，并不是很方便。
鉴于有很多企业都无法配备专门的团队来
1.概述转载：Flink 源码阅读笔记（19）- Flink SQL 中流表 Join 的实现在使用 SQL 进行数据分析的过程中，关联查询是经常要使用到的操作。在传统的 OLTP 和 OLAP 领域中，关联查询的数据集都是有界的，因此可以依赖于缓存有界的数据集进行查询。但是在 Streaming SQL 中，针对 Stream Join Stream 的情况，由于关联查询的两侧都是连续无界的数据
转载
2023-09-15 21:37:09
200阅读
1、内连接 inner join 是左表和右表都相同的数据，内联接使用比较运算符根据每个表共有的列的值匹配两个表中的行。2、外联接。外联接可以是左向外联接、右向外联接或完整外部联接。 在 FROM子句中指定外联接时，可以由下列几组关键字中的一组指定： 1）LEF
Flink自定义Catalog之oracle概述Catalog提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。Catalog 提供了一个统一的API，用于管理元数据，并使其可以从 Table API 和 SQL 查询语句中来访问。从Flink1.15后官方提供了oracle版Table的DDL定义未提供catalog的DDL定义。为满足大数据中间件要求，参考
转载
2024-04-25 11:49:20
214阅读
在使用 Python 连接 TDengine 数据库的过程中，我遭遇了一些技术上的挑战。本文将记录下我解决“python 连接tdengine 版本”问题的整个过程，包括背景定位、演进历程、架构设计、性能攻坚、复盘总结及扩展应用。
## 背景定位
在我的项目初期，团队希望能够高效地处理大数据，却面临 Python 与 TDengine 关于连接版本不匹配的问题，无法稳定读取或写入数据。这一技术
# 如何实现 Java 连接 TDengine 集群
作为一名新手开发者，连接数据库可能会显得复杂。本文将指导你如何使用 Java 连接 TDengine 集群。下面是实现这一目标的具体步骤。
## 流程概览
| 步骤 | 描述 |
|-----------|------------------------------|
| 1. 引
给单个属性赋值：2. @Value获取值和@ConfigurationProperties获取值比较配置文件yml还是properties他们都能获取到值; 如果说,我们只是在某个业务逻辑中需要获取一下配置文件中的某项值 .使用@Value ; 如果说,我们专门编写了一个javaBean来和配置文件进行映射,我们就直接使用@ConfigurationProperties ;  
1. 想要调用rest接口，先准备Docker环境，参考官网安装教程或菜鸟教程。2. workbench的安装： 1）打开Windows PowerShell 2）输入以下命令，从镜像仓库拉取drools-wor
zk搭建伪集群或者起个单个的都行。我用版本是apache-zookeeper-3.5.5-bin启动server:bin/zkServer.sh startServer启动之后, 就可以启动client连接server了, 执行脚本:#bin/zkCli.sh -server zkServer的ip:zkServer的portbin/zkCli.sh -server localhost:21811
聊什么在《SQL概览》中我们介绍了JOIN算子的语义和基本的使用方式，介绍过程中大家发现Apache Flink在语法语义上是遵循ANSI-SQL标准的，那么再深思一下传统数据库为啥需要有JOIN算子呢？在实现原理上面Apache Flink内部实现和传统数据库有什么区别呢？本篇将详尽的为大家介绍传统数据库为什么需要JOIN算子，以及JOIN算子在Apache Flink中的底层实现原理
转载
2024-01-03 20:39:54
163阅读
# Flink SQL 连接 MySQL 时区问题的解决方案
## 概述
在使用 Apache Flink SQL 连接 MySQL 时，时区问题常常导致数据不一致性。本文将指导你如何正确设置时区以避免这些问题，确保在数据流和查询中都是一致的。
### 解决方案流程
以下是实现的流程：
| 步骤 | 动作 | 描述
原创
2024-09-28 05:23:58
139阅读
## Flink SQL 连接 MySQL Maven 依赖实现步骤
### 流程图
```mermaid
flowchart TD
A(创建 Maven 项目) --> B(添加 Flink SQL 依赖)
B --> C(编写 Flink SQL 代码)
C --> D(运行 Flink SQL 代码)
```
### 状态图
```mermaid
stateD
原创
2024-01-23 07:27:28
214阅读
文章目录Django-DRFWEB应用模式API接口RESTful API规范序列化Django Rest_Framework环境安装与配置实现ModelSerializer过程 Django-DRFDjango Rest_FrameworkWEB应用模式前后端不分离前后端分离API接口API（Application Programming Interface，应用程序接口） 应用程序接口又称为
DBeaver 是一款流行、开源的数据库管理工具以及 SQL 客户端，其功能强大，并且支持任何拥有 JDBC-Driver 的数据库。很多 TDengine 的用户，经常问到如何使用 DBeaver 来连接、管理 TDengine。本文将通过 22.1.2 版本的 DBeaver 详细进行说明。
原创
2022-08-02 12:47:05
542阅读
