FlinkSql 传统数据库/批处理场景下数据集是有限的，天然避免了流计算面临的两大问题：1. 流计算中两条流数据的输入可能存在时间差，如何能保证在时间不一致情况下Join的准确性。2. 流计算中数据是无限的，历史数据不能一直被保存，否则会带来极大内存、磁盘压力，如何做取舍。针对第一个问题，Flink采用了retract操作，对于没有Join到的数据会先下发Null，后续等J
转载
2024-07-26 16:25:01
152阅读
背景信息Canal是一个CDC（ChangeLog Data Capture，变更日志数据捕获）工具，可以实时地将MySQL变更传输到其他系统。Canal为变更日志提供了统一的数据格式，并支持使用JSON或protobuf序列化消息（Canal默认使用protobuf）。支持Canal格式的连接器有消息队列Kafka和对象存储OSS。Flink支持将Canal的JSON消息解析为INSERT、UP
转载
2024-08-01 15:21:19
274阅读
前言一年一度的双11马上就要到了，阿里的双11销量大屏可以说是一道特殊的风景线。酷炫的实时大屏(real-time dashboard)也正在被越来越多的企业采用，用来及时呈现关键的数据指标。并且在实际操作中，肯定也不会仅仅计算一两个维度。由于Flink的“真·流式计算”这一特点，它比Spark Streaming要更适合大屏应用。本文从笔者的实际工作经验抽象出简单的模型，并简要叙述计算流程(当然
转载
2024-06-21 09:41:28
398阅读
Flink整理(2)一，Flink 流处理Api1.1 Environment1.1.1 getExecutionEnvironment 创建一个执行环境，表示当前执行程序的上下文。 如果程序是独立调用的，则此方法返回本地执行环境；如果从命令行客户端调用程序以提交到集群，则此方法返回此集群的执行环境，也就是说，getExecutionEnvironment会根据查询运行的方式决定返回什么样的运行环
转载
2024-06-06 13:45:40
897阅读
最近因为疫情的原因，偷了好长时间的懒，现在终于开始继续看Flink 的SQL 了 ————————————————电脑上的Flink 项目早就升级到了 1.10了，最近还在看官网新的文档，趁着周末，体验一下新版本的SQL API（踩一下坑）。直接从之前的 云邪大佬的Flink 的 SQL 样例开始（pom 已经提前整理好了）。简单回忆一下内容，就是从kafka 接收 用户行为，根据时间分
转载
2024-03-22 09:32:56
155阅读
DataFrame :数据带属性 保存Scahema.优化RDD。提升性能 DataSet: 进一步对DataFrame进行优化。是DataFrameAPI的一个扩展。强类型DataSet[Car] DataFrame是DataSet的特例。 DataFrame=DataSet[Row]DSL :DataFrame提供了一个特定领域的语言。去管理结构化的数据。可以使用Scala java pyt
转载
2024-09-24 16:05:03
90阅读
背景说明随着流计算的发展，挑战不再仅限于数据量和计算量，业务变得越来越复杂，开发者可能是资深的大数据从业者、初学 Java 的爱好者，或是不懂代码的数据分析者。如何提高开发者的效率，降低流计算的门槛，对推广实时计算非常重要。SQL 是数据处理中使用最广泛的语言，它允许用户简明扼要地展示其业务逻辑。Flink 作为流批一体的计算引擎，致力于提供一套 SQL 支持全部应用场景，Flink SQL 的实
Flink SQL 实战 (4)：UDF-用户自定义函数在上一篇实战博客中分享了如自定义Schema这样实战中常用的code，之前示例的WordWithCount只有可怜的一个字段不能算作典型，理解起来容易困惑，所有我们升级一下使用多个字段的JSON作为数据源:{
"response": "",
"status": 0,
"protocol": ""
"timestamp":0
}练习根据
转载
2024-08-11 07:45:05
134阅读
# Flink SQL解析JSON并写入HBase
Apache Flink是一个流处理框架，广泛应用于实时数据处理场景。当我们需要从JSON数据提取信息并将其存储在HBase中时，Flink SQL提供了一种高效且便捷的方式。本文将介绍如何使用Flink SQL解析JSON格式的数据并将其写入HBase。
## 环境准备
在开始之前，请确保已经安装并配置好以下组件：
- Apache F
env.setStreamTimeCharacteristic(TimeCharacteristic.EventTime);
// source
String topic = "topic_test2";
Properties props = new Properties();
// 设置连接kafka集群的参数
props.setProperty("b
本篇幅介绍Flink Table/SQL中如何自定义一个表函数(TableFunction)，介绍其基本用法以及与源码结合分析其调用流程。基本使用表函数TableFunction相对标量函数ScalarFunction一对一，它是一个一对多的情况，通常使用TableFunction来完成列转行的一个操作。先通过一个实际案例了解其用法：终端设备上报数据，数据类型包含温度、耗电量等，上报方式是以多条方
转载
2024-03-05 20:45:16
1966阅读
# 使用FlinkSQL解析JSON并存储到HBase
作为一名经验丰富的开发者，你需要教会一位刚入行的小白如何使用FlinkSQL解析JSON数据并存储到HBase。下面将为你展示整个过程的步骤，并说明每一步需要做什么以及需要使用的代码。
## 步骤
首先，让我们来看一下实现“flinksql 解析json 存储到hbase”的整个流程：
| 步骤 | 描述 |
| ------ | -
原创
2024-03-22 06:37:33
106阅读
case class Canal(emptyCount: Long, //操作次数
logFileName: String, //binlog文件名
dbName: String, //数据库名
logFileOffset: Long, //binlong偏移量
转载
2024-02-13 13:57:03
1252阅读
flinksql 解析kafka复杂嵌套json解析复杂json 解析复杂jsonJSON数据{
"afterColumns":{
"created":"1589186680",
"extra":{
"canGiving":false
},
"parameter":[
1,
转载
2023-05-23 14:47:42
547阅读
1. Group Aggregate 优化1.1 开启 MiniBatch（提升吞吐） MiniBatch 是微批处理，原理是缓存一定的数据后再触发处理，以减少对 State 的访问，从而提升吞吐并减少数据的输出量。MiniBatch 主要依靠在每个 Task 上注册的 Timer 线程来触发微批，需要消耗一定的线程调度性能。 MiniBatch 默认关闭，开启方式如下:// 初始化 table
转载
2024-01-01 12:28:22
192阅读
在MySQL5.7 引入基于Logical clock的并行复制方案前，MySQL使用基于Schema的并行复制，使不同db下的DML操作可以在备库并发回放。在优化后，可以做到不同表table下并发。但是如果业务在Master端高并发写入一个库（或者优化后的表），那么slave端就会出现较大的延迟。基于schema的并行复制，Slave作为只读实例提供读取功能时候可以保证同schema下事务的因果
转载
2024-09-23 06:21:03
30阅读
写这个博客主要是看了袋鼠云的flinkStreamSQL git地址:https://github.com/DTStack/flinkStreamSQL 自己还往上提交了kudu的sink和side 第一次commit到github上面还是很开心的。这里重点说的是flinkStreamSQL是如何完成side的，主要其实是两种缓存方案LRU和ALL。这里忽略所有的sql解析 注册等等，
转载
2023-11-23 12:51:48
54阅读
什么是JOINJOIN的本质是分别从N(N>=1)张表中获取不同的字段，进而得到最完整的记录行。比如我们有一个查询需求：在学生表(学号，姓名，性别)，课程表(课程号，课程名，学分)和成绩表(学号，课程号，分数)中查询所有学生的姓名，课程名和考试分数。如下：为啥需要JOINJOIN的本质是数据拼接，那么如果我们将所有数据列存储在一张大表中，是不是就不需要JOIN了呢？如果真的能将所需的数据都在
转载
2024-09-14 21:43:49
89阅读
实践数据湖iceberg 第三十二课 DDL语句通过hive catalog持久化方法实践数据湖iceberg 第三十三课 升级flink到1.14，自带functioin支持json函数实践数据湖iceberg 更多的内容目录 文章目录系列文章目录前言一、flink1.4版本开始支持JSON函数1.1 flink1.14 json相关官网介绍1.2 flink1.13 是没有json函数支持的二
一、前言 上一篇文章，为大家介绍了关于 FlinkSQL 的背景，常见使用以及一些小技巧。学完之后，对于FlinkSQL只能算是简单入了个门。不过不用担心，本篇文章，博主将为大家带来关于 FlinkSQL中流处理的特殊概念，喜欢的话，记得看完点个赞|ू･ω･` )二、流处理中的特殊概念 Table API和SQL，
原创
2021-06-01 14:14:34
382阅读
