前言背景在公司里做实时计算开发,之前大部分job都采用的是基于java的streaming编程方式进行的,这样的好处很明显:足够灵活,可以应对各种复杂的实时分析场景,但缺点也很明显:上手存在门槛,需要懂code,如果是一个逻辑简单的计算需求,用code整体编写起来的方式,会让整个流程也略显笨重… 于是我开始想,目前的公司流式开发的流程也趋于稳定了,而对于后续接近来的需求,如果可以用SQL解决,就尽
转载
2024-03-03 23:18:01
86阅读
上一篇我们介绍了Flink CEP的API，这一篇我们将以结合一个案例来练习使用CEP的API编写应用程序，以强化对API的理解。所选取的案例是对网络遭受的潜在攻击进行检测并给出告警。当下互联网安全形势仍然严峻，网络攻击屡见不鲜且花样众多，这里我们以DDOS（分布式拒绝服务攻击）产生的流入流量来作为遭受攻击的判断依据。假定一家云服务提供商，有多个跨地区的数据中心，每个数据中心会定时向监控中心上报其
转载
2024-05-28 07:55:38
0阅读
问题导读1.Flink 1.11 有哪些新功能？ 2.如何使用 flink-cdc-connectors 捕获 MySQL 和 Postgres 的数据变更? 3.怎样利用 Flink SQL 做多流 join 后实时同步到 Elasticsearch 中？ 1 Flink 1.8 ~ 1.11 社区发展趋势回顾
自 2019 年初阿里巴巴宣布向 Flink 社区贡献 Blink 源码并
转载
2024-02-26 14:36:22
39阅读
# Flink SQL 更新 MySQL 的方法
Apache Flink 是一个流处理框架，广泛用于处理大规模数据。随着实时数据处理需求的不断增加，如何将实时数据更新到 MySQL 数据库成为了许多开发者关注的热点问题。本文将介绍如何通过 Flink SQL 更新 MySQL 数据库，并提供代码示例。
## Flink SQL 的背景
Flink SQL 是 Flink 提供的一种 SQL
原创
2024-10-03 07:11:52
58阅读
在 flink sql 中，对表名、字段名、函数名等是严格区分大小写的，为了兼容 hive 等其他仓库，建议建表时，表名和字段名都采用下划线连接单词的方式，以避免大小写问题。比如 hive ，是不区分大小写的，所有大写字母最终都会被系统转化为小写字母，此时使用 flink sql 去读写 hive ，出现大写字母时，会出现找不到表或字段的错误。关键字是不区分大小写的，比如 insert、selec
转载
2024-09-18 10:53:54
51阅读
文章目录窗口表值函数（Windowing TVFs，新版本）滚动窗口（TUMBLE）滑动窗口（HOP）累积窗口（CUMULATE） 有了时间属性，接下来就可以定义窗口进行计算了。我们知道，窗口可以将无界流切割成大小有限的“桶”（bucket）来做计算，通过截取有限数据集来处理无限的流数据。在 DataStream API 中提供了对不同类型的窗口进行定义和处理的接口，而在 Table API 和
转载
2023-11-03 07:49:04
133阅读
# Flink SQL批量写入Hive表
## 1. 整体流程
首先，让我们来了解一下如何使用Flink SQL批量写入Hive表的整体流程。下面是一个简单的表格，展示了实现这个过程的步骤：
| 步骤 | 描述 |
|-----|-----|
| 步骤1 | 创建Flink表环境 |
| 步骤2 | 创建Hive表 |
| 步骤3 | 从外部系统（例如Kafka）读取数据到Flink表 |
|
原创
2023-10-13 06:09:23
390阅读
# 使用FlinkSQL更新MySQL部分字段
## 引言
Flink是一个流处理引擎，可以用来处理实时数据流。FlinkSQL是Flink的SQL扩展，可以使用SQL语句来操作数据流。在业务中，有时会遇到需要更新MySQL数据库中的部分字段的情况。本文将介绍如何使用FlinkSQL来更新MySQL数据库中的部分字段内容。
## 准备工作
在开始操作之前，我们需要先准备好环境和数据。确保已
原创
2024-07-12 04:44:35
224阅读
## FlinkSQL 与 HBase 的维度表更新
在实时数据处理中，维度表的更新是一个非常常见的需求，特别是在使用 FlinkSQL 进行流处理时。本文将介绍如何在 FlinkSQL 中更新 HBase 中的维度表，并给出代码示例。
### 什么是维度表？
维度表是数据仓库中的一种用于描述业务事实的表，通常包含与业务相关的各种维度信息，比如时间、地点、产品等。在实时数据处理中，维度表常用
原创
2024-06-09 05:48:25
137阅读
# 使用 Flink SQL 更新 MySQL 部分列的实用指南
Flink 是一种分布式流处理引擎，广泛应用于实时数据处理和批处理场景。通过 Flink SQL，开发者可以以 SQL 查询的方式进行数据处理，极大地方便了一些复杂的数据操作。本篇文章将重点讨论如何使用 Flink SQL 实现部分列更新 MySQL 数据库。
## Flink SQL 的基本概念
Flink SQL 是 Ap
Flink CEP概念Flink CEP是其实一个Flink库，跟机器学习库是一样的。它是为了更快，更及时的发现一些我们所关心的事情，而不是需要等待几天或则几个月相当长的时间，才发现问题。比如我们的银行卡被人盗刷，如果没有CEP，那么我们即使丢了银行卡，可能也不知道，等我们发现银行卡丢失后，再去挂失等，发现银行卡里已经没钱了。有了CEP，则可以及时提醒，存在银行卡被盗刷的可能性。在应用系统中，总会
转载
2024-03-29 15:13:20
36阅读
FlinkSQL中的回退更新-Retraction群主王知无大数据技术与架构前言如果你在使用FlinkSQL时出现如下的报错：Tableisnotanappend-onlytable.UsethetoRetractStream()inordertohandleaddandretractmessages.那么你就有必要了解一下Flink中的回退更新。简介通俗的讲"回退更新"就是传
原创
2021-04-04 19:36:24
853阅读
# 使用Flink SQL更新MySQL数据库
Apache Flink 是一个强大的流处理框架，能够处理实时数据流和批数据。其SQL模块让数据处理变得更加简洁，尤其是在与关系型数据库，比如MySQL，进行交互时。在这篇文章中，我们将探讨如何使用Flink SQL更新MySQL数据库，提供代码示例，序列图和甘特图，让您更好地理解整个过程。
## 一、环境准备
在使用Flink SQL进行数据
前言如果你在使用FlinkSQL时出现如下的报错：Tableisnotanappend-onlytable.UsethetoRetractStream()inordertohandleaddandretractmessages.那么你就有必要了解一下Flink中的回退更新。简介通俗的讲"回退更新"就是传统数据里面的更新操作，也就是说Retract是流式计算场景下对数据更新的处理。使用flinkSQ
原创
2021-03-15 09:33:50
216阅读
1 问题描述未签收的订单十五天之后自动签收：总共2个步骤： step1 在乐购系统中批量更新未签收订单的状态，step2: 通过RPC修改订单系统的订单状态， step1和step2放到一个事务中。然后发现step2 订单DB状态修改成功，但是step1 乐购db的订单状态并未修改。2 排查过程怀疑是程序的问题，检查乐购系统的执行日志，发现所有日志执行成功，db的插入和更新操作日志以及事务日志，
转载
2024-01-02 16:45:19
105阅读
在工作中经常遇到要导入数据的场景。1 导入全新的数据2 导入的数据中库中可能已经存在，已经存在的数据不能覆盖，不能变更3 导入的数据中库中可能已经存在，已经存在的数据主键等不能变化，同时需要更新这些数据的一些字段（比如：积分字段） 第一种最简单，最坑爹的是第三种了。新手碰到这种问题往往一筹莫展，能想到的最直接的办法就是 一条条获取 ，然后判断，然后 update。这种方式的效率在少量数据
转载
2023-09-04 13:50:46
608阅读
批量方法IService的updateBatchById方法 默认batchSize = 1000 com.baomidou.mybatisplus.extension.service.impl.ServiceImpl#updateBatchById@Transactional(rollbackFor = Exception.class)
@Override
public bool
转载
2024-04-14 13:26:49
4318阅读
1、化整为零
一般情况下，如果需要对一个表进行大批量的更新的时候，由于涉及到的记录数很多，所以可能需要花费的时间也就很长，这种情况下，还采用一个单独的update 语句来更新的话，就会造成长时间的加锁，影响到业务。
简单的一个例子，如要更新im_user表中的非空ID为用户表bmw_users中的ID，关联字段为im_user.login_id=b
转载
2024-05-16 06:43:29
115阅读
前言如果你在使用FlinkSQL时出现如下的报错：Table is not an append-only table. Use the toRetractStream()...
原创
2021-06-10 20:30:17
209阅读
前言如果你在使用FlinkSQL时出现如下的报错：Table is not an append-only table. Use the toRetractStream()...
原创
2021-06-10 20:30:16
613阅读
