在 flink sql 中，对表名、字段名、函数名等是严格区分大小写的，为了兼容 hive 等其他仓库，建议建表时，表名和字段名都采用下划线连接单词的方式，以避免大小写问题。比如 hive ，是不区分大小写的，所有大写字母最终都会被系统转化为小写字母，此时使用 flink sql 去读写 hive ，出现大写字母时，会出现找不到表或字段的错误。关键字是不区分大小写的，比如 insert、selec
转载
2024-09-18 10:53:54
53阅读
技术架构 Debezium + Confluent + Kafka + OSS/S3 整体设计预期实现效果Debezium 采集binlog 数据，通过Confluent Source 写入Kafka ， 通过 Confluent S3 Sink / Oss Sink 写入相应文件存储系统，按照小时级分区拆分文件夹做数据落地，hive 建立外
转载
2023-09-17 14:32:10
89阅读
Flink CEP概念Flink CEP是其实一个Flink库，跟机器学习库是一样的。它是为了更快，更及时的发现一些我们所关心的事情，而不是需要等待几天或则几个月相当长的时间，才发现问题。比如我们的银行卡被人盗刷，如果没有CEP，那么我们即使丢了银行卡，可能也不知道，等我们发现银行卡丢失后，再去挂失等，发现银行卡里已经没钱了。有了CEP，则可以及时提醒，存在银行卡被盗刷的可能性。在应用系统中，总会
转载
2024-03-29 15:13:20
36阅读
上一篇我们介绍了Flink CEP的API，这一篇我们将以结合一个案例来练习使用CEP的API编写应用程序，以强化对API的理解。所选取的案例是对网络遭受的潜在攻击进行检测并给出告警。当下互联网安全形势仍然严峻，网络攻击屡见不鲜且花样众多，这里我们以DDOS（分布式拒绝服务攻击）产生的流入流量来作为遭受攻击的判断依据。假定一家云服务提供商，有多个跨地区的数据中心，每个数据中心会定时向监控中心上报其
转载
2024-05-28 07:55:38
0阅读
基于Flink的资讯场景实时数仓 1. 实时数仓介绍1.1.什么是实时数仓1.2.实时数仓技术架构2. 资讯场景介绍与技术架构设计2.1.业务场景2.2.业务目标2.3.技术架构4. 实时数仓搭建4.1.数据采集 ) 1. 实时数仓介绍1.1.什么是实时数仓数据仓库定义：https://en.wikipedia.org/wiki/Data_warehouse，本质是把各种业务系 统产生的数据通
转载
2024-03-15 07:51:47
34阅读
问题导读1.Flink 1.11 有哪些新功能？ 2.如何使用 flink-cdc-connectors 捕获 MySQL 和 Postgres 的数据变更? 3.怎样利用 Flink SQL 做多流 join 后实时同步到 Elasticsearch 中？ 1 Flink 1.8 ~ 1.11 社区发展趋势回顾
自 2019 年初阿里巴巴宣布向 Flink 社区贡献 Blink 源码并
转载
2024-02-26 14:36:22
39阅读
文章目录1、什么是数据仓库？2、数据仓库和数据库的区别？3、如何构建数据仓库？4、什么是数据中台？5、数据中台、数据仓库、大数据平台、数据湖的关键区别是什么？6、大数据有哪些相关的系统？7、如何建设数据中台？8、数据仓库最重要的是什么？9、概念模型、逻辑模型、物理模型分别介绍一下？10、SCD常用的处理方式有哪些？11、怎么理解元数据？12、数仓如何确定主题域？13、如何控制数据质量？14、模型
# Flink SQL 更新 MySQL 的方法
Apache Flink 是一个流处理框架，广泛用于处理大规模数据。随着实时数据处理需求的不断增加，如何将实时数据更新到 MySQL 数据库成为了许多开发者关注的热点问题。本文将介绍如何通过 Flink SQL 更新 MySQL 数据库，并提供代码示例。
## Flink SQL 的背景
Flink SQL 是 Flink 提供的一种 SQL
原创
2024-10-03 07:11:52
58阅读
CDC首先什么是CDC ？它是Change Data Capture的缩写,即变更数据捕捉的简称，使用CDC我们可以从数据库中获取已提交的更改并将这些更改发送到下游，供下游使用。这些变更可以包括INSERT,DELETE,UPDATE等操作。Flink SQL CDC 数据同步与原理解析CDC 全称是 Change Data Capture ，它是一个比较广义的概念，只要能捕获变更的数据，我们都可
转载
2023-11-01 19:06:26
321阅读
文章目录窗口表值函数（Windowing TVFs，新版本）滚动窗口（TUMBLE）滑动窗口（HOP）累积窗口（CUMULATE） 有了时间属性，接下来就可以定义窗口进行计算了。我们知道，窗口可以将无界流切割成大小有限的“桶”（bucket）来做计算，通过截取有限数据集来处理无限的流数据。在 DataStream API 中提供了对不同类型的窗口进行定义和处理的接口，而在 Table API 和
转载
2023-11-03 07:49:04
133阅读
什么是 CDC ?
CDC,Change Data Capture,变更数据获取的简称，使用 CDC 我们可以从数据库中获取已提交的更改并将这些更改发送到下游，供下游使用。这些变更可以包括 INSERT,DELETE,UPDATE 等.
要解决什么问题 ?
使用 flink sql 进行数据同步,可以将数据从一个数据同步到其他的地方，比如 mysql、elasticsearch 等。
可以在源数
原创
2021-08-16 14:57:25
3435阅读
不管是什么大数据组件大部分都分单机和集群模式，这次我配置的是kafka集群监控mysql binlog日志一.Zookeeper和Kafka集群部署我的服务器是三台节点 aliyun-bigdata-01 aliyun-bigdata-02 aliyun-bigdata-031.第一步实现kafka集群部署和zookeeper集群部署先启动zookeepe
转载
2023-09-16 17:19:27
232阅读
flinksql在大数据流程中的使用
原创
2023-02-14 17:50:48
300阅读
flink 关联 hbase 表非主键关联 Hbase 表非主键的功能，是我们一直都在做的事情，只是实现的方式不同。在 Flink 1.10 版本的时候，SQL 关联 Hbase，都是在 SqlSubmit 程序启动的时候，基于配置文件生成 UDF 并注册成临时函数，直到 Flink 官方的 Hbase connector 支持 Lookup join，使用 lookup join 替换 udf
转载
2023-07-21 23:29:37
583阅读
Inner Join 的用法SELECT *
FROM Orders
INNER JOIN Product
ON Orders.productId = Product.id优点：使用简单和离线数仓一样缺点：因为历史数据默认不会被清理，因为资源问题一般只用做有界数据流的 Join，或者需要设置状态，设置过期时间。Outer Joinouter join包括left join和right
转载
2023-08-18 16:36:10
181阅读
# 实时加增量MySQL Kafka流程指南
## 1. 概述
本文将介绍如何使用FlinkSQL实现将增量数据从MySQL导入到Kafka中的实时流处理任务。我们将使用Flink的Table API和SQL来处理数据，并使用Flink的DataStream API将数据发送到Kafka。
## 2. 流程图
```mermaid
gantt
dateFormat YYYY-MM
原创
2023-08-26 11:35:22
125阅读
简介： 随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子，从引擎侧、平台侧和业务侧各个不同方面，来阐述滴滴所做的工作，分享在建设过程中的经验。随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主
## FlinkSQL 与 HBase 的维度表更新
在实时数据处理中，维度表的更新是一个非常常见的需求，特别是在使用 FlinkSQL 进行流处理时。本文将介绍如何在 FlinkSQL 中更新 HBase 中的维度表，并给出代码示例。
### 什么是维度表？
维度表是数据仓库中的一种用于描述业务事实的表，通常包含与业务相关的各种维度信息，比如时间、地点、产品等。在实时数据处理中，维度表常用
原创
2024-06-09 05:48:25
137阅读
# 使用 Flink SQL 更新 MySQL 部分列的实用指南
Flink 是一种分布式流处理引擎，广泛应用于实时数据处理和批处理场景。通过 Flink SQL，开发者可以以 SQL 查询的方式进行数据处理，极大地方便了一些复杂的数据操作。本篇文章将重点讨论如何使用 Flink SQL 实现部分列更新 MySQL 数据库。
## Flink SQL 的基本概念
Flink SQL 是 Ap
# 使用FlinkSQL更新MySQL部分字段
## 引言
Flink是一个流处理引擎，可以用来处理实时数据流。FlinkSQL是Flink的SQL扩展，可以使用SQL语句来操作数据流。在业务中，有时会遇到需要更新MySQL数据库中的部分字段的情况。本文将介绍如何使用FlinkSQL来更新MySQL数据库中的部分字段内容。
## 准备工作
在开始操作之前，我们需要先准备好环境和数据。确保已
原创
2024-07-12 04:44:35
224阅读
