DataStream：
DataStream 是 Flink 流处理 API 中最核心的数据结构。它代表了一个运行在多个分区上的并行流。一个 DataStream 可以从 StreamExecutionEnvironment 通过env.addSource(SourceFunction) 获得。DataStream 上的转换操作都是逐条的
转载
2023-12-07 10:13:18
149阅读
Apache Flink 以其独特的方式来处理数据类型以及序列化，这种方式包括它自身的类型描述符、泛型类型提取以及类型序列化框架。本文档描述了它们背后的概念和基本原理。支持的数据类型 Flink 对可以在 DataSet 或 DataStream 中的元素类型进行了一些限制。这样做的原因是系统会分析类型以确定有效的执行策略。&nbs
转载
2024-03-22 21:49:41
22阅读
flink udaf demo之前一个小伙伴留言说想看 TableAggregateFunction 的例子吗？以及自定义函数如何使用sql的方式调用？Flink SQL 我都是用开发的 sqlSubmit 工具做的提交，很多时候会忽略 flink sql client 方式，所以这里写了个简单的 udaf，并演示在 sqlSubmit 和 sql client 中使用的该 udaf。udaf 定
转载
2024-01-29 13:37:40
89阅读
data Artisans应用程序工程总监Jamie Grier最近在OSCON 2016 Conference大会发言谈到了使用Apache Flink构建的一种数据流体系结构。同时还谈到了数据流应用程序的构建块。数据流体系结构可用于处理随着时间流逝以事件流方式持续生成的数据，这一点不同于传统的静态数据集。相对于传统的集中式“状态化”数据库和数据仓库，数据流应用程序可以处理事件流以及针对历史事件
锁屏面试题百日百刷，每个工作日坚持更新面试题。****请看到最后就能获取你想要的, 接下来的是今日的面试题：1.Flink 中水印是什么概念，起到什么作用？****Watermark 是 Apache Flink 为了处理 EventTime 窗口计算提出的一种机制, 本质上是一种时间戳。 一般来讲Watermark经常和Window一起被用来处理乱序事件。2.Flink Table &
转载
2024-04-26 17:10:40
21阅读
目录1 官网API列表2 基本操作-略2.1 map2.2 flatMap2.3 keyBy2.4 filter2.5 sum2.6 reduce2.7 代码演示3 合并-拆分3.1 union和connect3.2 split、select和Side Outputs4 分区4.1 rebalance重平衡分区4.2 其他分区1 官网API列表https://ci.apache.org/proje
转载
2024-05-06 17:27:25
47阅读
对无界数据集的连续处理在我们详细介绍Flink之前，让我们从更高的层面上回顾处理数据时可能遇到的数据集的类型以及您可以选择处理的执行模型的类型。这两个想法经常被混淆，清楚地区分它们是有用的。首先，两种类型的数据集无界：连续追加的无限数据集有界：有限的，不变的数据集传统上被认为是有限或“批量”数据的许多实际数据集实际上是无界数据集。无论数据是存储在HDFS上的目录序列还是像Apache Kafka这
转载
2024-05-04 19:53:58
48阅读
摘要：Apache Flink 是目前大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构，以 Iceberg、Hudi、Delta 为代表的解决方案应运而生，Iceberg 目前支持 Flink 通过 DataStream API /Table API 将数据写入 Iceberg 的表，并提供对 Apache Flink 1.11.x 的集成支持。本文由腾讯数据平台部
转载
2024-03-15 08:18:22
81阅读
说明：本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学， 2.4字段表达式实例-Java以下定义两个Java类：public static class WC {
public ComplexNestedClass complex;
private int count;
public int getCou
1. 版本说明本文档内容基于flink-1.15.x，其他版本的整理，请查看本人博客的 flink 专栏其他文章。2. 概览本章节描述了 Flink 所支持的 SQL 语言，包括数据定义语言（Data Definition Language，DDL）、数据操纵语言（Data Manipulation Language，DML）以及查询语言。Flink 对 SQL 的支持基于实现了 SQL 标准的
转载
2023-10-17 15:16:17
276阅读
# Flink CDC MySQL 数据类型详解
在大数据生态中，Flink 和 MySQL 是两个不可或缺的组件。Flink 是一种流处理框架，而 MySQL 则是一个广泛使用的关系型数据库管理系统。结合使用 Flink CDC（Change Data Capture）可以实现对 MySQL 数据变化的实时监控和处理。本文将详细探讨 Flink CDC 中 MySQL 的数据类型，以及如何在实
# 使用Flink CDC实现MySQL数据同步
随着大数据技术的普及，数据同步成为了企业实时数据分析的重要组成部分。Flink CDC（Change Data Capture）是 Apache Flink 提供的一种高效的增量数据捕获解决方案。在本文中，我们将讲解如何通过 Flink CDC 实现 MySQL 数据的同步。本文适合初学者，以下将详细介绍操作步骤、代码实现及相关配置。
## 实
一、Hive数据类型Hive数据类型java数据类型长度有符号整数最值 / 其他示例 / 说明tinyintbyte1byte（1个字节8位） 有符号整数[-128,127]smallintshort2byte（2个字节16位）有符号整数[-32768,32767]intint4byte（4个字节32位）有符号整数[-2147483648,2147483647]bigintlong8byte（8个
转载
2023-07-12 10:11:58
89阅读
数据湖是大数据近年来的网红项目，大家熟知的开源数据湖三剑客 Apache hudi、Apache iceberg 、Databricks delta 近年来野蛮生长，目前各自背后也都有商业公司支持，投入了大量的人力物力去做研发和宣传。然而今天我们要讲的是数据湖界的后起之秀 —— flink-table-store。熟悉 Flink 项目的同学对这个项目应该并不陌生，它在去年作为 Flink 的子项
转载
2023-11-09 15:47:40
69阅读
场景应用：将MySQL的变化数据转为实时流输出到Kafka中。注意版本问题，版本不同可能会出现异常，以下版本测试没问题：flink1.12.7flink-connector-mysql-cdc 1.3.0(com.alibaba.ververica) (测试时使用1.2.0版本时会出现空指针错误)1. MySQL的配置 在/etc/my.cnf文件中，【mysqld】下面添加以下配置：b
转载
2023-07-26 10:51:55
545阅读
从kafka到mysql新建Java项目最简单的方式是按照官网的方法，命令行执行curl https://flink.apache.org/q/quickstart.sh | bash -s 1.10.0，不过这种方法有些包还得自行添加，大家可以复制我的pom.xml，我已经将常用的包都放进去了，并且排除了冲突的包。注意的是，本地测试的时候，记得将scope注掉，不然会出现少包的情况。也可以在Ru
转载
2023-09-20 16:28:22
148阅读
大家好，我是小寒~在上一篇文章，我们分享了 FLink 中时间和窗口的相关技术细节，今天我们来分享一下 FLink 中的状态管理相关的内容。状态管理状态在 FLink 中叫作 State，用来保存中间计算结果或者缓存数据。对于流计算而言，事件待续不断地产生，如果每次计算都是相互独立的，不依赖于上下游的事件，则是无状态计算。
如果计算常要依赖于之前或者后续的事件，则是有状态的计算。 State 是实
转载
2024-03-22 21:59:34
84阅读
二、基本操作 1、入门案例 （1）批处理wordcount--DataSet val env = ExecutionEnvironment.getExecutionEnvironment // 从文件中读取数据 val inputPath = "D:\\Projects\\BigData\\Test
原创
2022-06-04 00:40:46
101阅读
Flink数据类型与Java映射是我在工作中经常遇到的挑战之一。为了确保我对这个主题有一个系统、全面的理解，我决定整理一个详细的博文，覆盖从环境准备到排错指南的整个过程。
## 环境准备
在开始之前，我确保我的开发环境配置正确。为此，我安装了一些必要的前置依赖。如下表展示了我使用的主要版本，以及它们之间的兼容性矩阵：
| 组件 | 版本 | 兼容性
Flink处理数据介绍Flink流应用程序处理是以数据对象表示的事件流。在Flink内部，处理数据对象，通过被序列化和反序列化进行网络传送，从状态后端、检查点和保存点读取它们。为了有效地做到这一点，Flink需要明确知道应用程序所处理的数据类型。Flink使用类型信息的概念来表示数据类型，并为每个数据类型生成特定的序列化器、反序列化器和比较器。Flink还具有一个类型提取系统，该系统分析函数的输
原创
2022-01-21 13:59:50
311阅读
