从kafka到mysql新建Java项目最简单的方式是按照官网的方法，命令行执行curl https://flink.apache.org/q/quickstart.sh | bash -s 1.10.0，不过这种方法有些包还得自行添加，大家可以复制我的pom.xml，我已经将常用的包都放进去了，并且排除了冲突的包。注意的是，本地测试的时候，记得将scope注掉，不然会出现少包的情况。也可以在Ru
转载
2023-09-20 16:28:22
148阅读
1. 版本说明本文档内容基于flink-1.15.x，其他版本的整理，请查看本人博客的 flink 专栏其他文章。2. 概览本章节描述了 Flink 所支持的 SQL 语言，包括数据定义语言（Data Definition Language，DDL）、数据操纵语言（Data Manipulation Language，DML）以及查询语言。Flink 对 SQL 的支持基于实现了 SQL 标准的
转载
2023-10-17 15:16:17
276阅读
DataStream：
DataStream 是 Flink 流处理 API 中最核心的数据结构。它代表了一个运行在多个分区上的并行流。一个 DataStream 可以从 StreamExecutionEnvironment 通过env.addSource(SourceFunction) 获得。DataStream 上的转换操作都是逐条的
转载
2023-12-07 10:13:18
149阅读
一、数据类型支持Flink支持非常完善的数据类型，数据类型的描述信息都是由TypeInformation定义，比较常用的TypeInformation有BasicTypeInfo、TupleTypeInfo、CaseClassTypeInfo、PojoTypeInfo类等。TypeInformation主要作用是为了在Flink系统内有效地对数据结构类型进行管理，能够在分布式计算过程中对数据的类型
转载
2024-02-28 13:37:05
80阅读
自定义Source概述自定义Source是Flink学习中非常重要的一环，一般实现一个Source，可以继承下面几个类之一SourceFunction
RichSourceFunction
ParallelSourceFunction
RichParallelSourceFunction前两个是单并行度，后2个是多并行度，无论是否多并行度，我们一般选择带Rich的SourceFunction, 也
转载
2023-07-11 17:03:23
697阅读
Apache Flink 以其独特的方式来处理数据类型以及序列化，这种方式包括它自身的类型描述符、泛型类型提取以及类型序列化框架。本文档描述了它们背后的概念和基本原理。支持的数据类型 Flink 对可以在 DataSet 或 DataStream 中的元素类型进行了一些限制。这样做的原因是系统会分析类型以确定有效的执行策略。&nbs
转载
2024-03-22 21:49:41
22阅读
本文翻译自官网：https://ci.apache.org/projects/flink/flink-docs-release-1.9/dev/table/types.html由于历史原因，在Flink1.9之前，Flink的Table和SQLAPI数据类型与FlinkTypeInformation紧密相关。TypeInformation在DataStream和DataSetAPI中使用，并且足以
原创
2021-02-08 15:47:08
2271阅读
由于历史原因，在 Flink 1.9之前，Flink 的 Table和SQL API 数据类型与 Flink TypeInformation 紧密相关。TypeInformation 在 DataStream 和 DataSet API 中使用，并且足以描述在分布式设置中序列化和反序列化基于 JVM的 对象所需的所有信息。但是，TypeInformation并非旨在表示独立于
转载
2024-05-10 18:48:11
87阅读
支持的数据类型
Flink流应用程序处理的是以数据对象表示的事件流。所以在Flink内部，我们需要能够处理这些对象。它们需要被序列化和反序列化，以便通过网络传送它们；或者从状态后端、检查点和保存点读取它们。为了有效地做到这一点，Flink需要明确知道应用程序所处理的数据类型。Flink使用类型信息的概念来表示数据类型，并为每个数据类型生成特定的序列
转载
2024-03-17 00:02:47
152阅读
1.序篇-先说结论大数据羊说用数据提升美好事物发生的概率~29篇原创内容公众号protobuf 作为目前各大公司中最广泛使用的高效的协议数据交换格式工具库，会大量作为流式数据传输的序列化方式，所以在 flink sql 中如果能实现 protobuf 的 format 会非常有用（目前社区已经有对应的实现，不过目前还没有 merge，预计在 1.14 系列版本中能 release）。这一节原本是介
转载
2024-06-04 15:41:21
295阅读
data Artisans应用程序工程总监Jamie Grier最近在OSCON 2016 Conference大会发言谈到了使用Apache Flink构建的一种数据流体系结构。同时还谈到了数据流应用程序的构建块。数据流体系结构可用于处理随着时间流逝以事件流方式持续生成的数据，这一点不同于传统的静态数据集。相对于传统的集中式“状态化”数据库和数据仓库，数据流应用程序可以处理事件流以及针对历史事件
对无界数据集的连续处理在我们详细介绍Flink之前，让我们从更高的层面上回顾处理数据时可能遇到的数据集的类型以及您可以选择处理的执行模型的类型。这两个想法经常被混淆，清楚地区分它们是有用的。首先，两种类型的数据集无界：连续追加的无限数据集有界：有限的，不变的数据集传统上被认为是有限或“批量”数据的许多实际数据集实际上是无界数据集。无论数据是存储在HDFS上的目录序列还是像Apache Kafka这
转载
2024-05-04 19:53:58
48阅读
摘要：Apache Flink 是目前大数据领域非常流行的流批统一的计算引擎，数据湖是顺应云时代发展潮流的新型技术架构，以 Iceberg、Hudi、Delta 为代表的解决方案应运而生，Iceberg 目前支持 Flink 通过 DataStream API /Table API 将数据写入 Iceberg 的表，并提供对 Apache Flink 1.11.x 的集成支持。本文由腾讯数据平台部
转载
2024-03-15 08:18:22
81阅读
目录1 官网API列表2 基本操作-略2.1 map2.2 flatMap2.3 keyBy2.4 filter2.5 sum2.6 reduce2.7 代码演示3 合并-拆分3.1 union和connect3.2 split、select和Side Outputs4 分区4.1 rebalance重平衡分区4.2 其他分区1 官网API列表https://ci.apache.org/proje
转载
2024-05-06 17:27:25
47阅读
锁屏面试题百日百刷，每个工作日坚持更新面试题。****请看到最后就能获取你想要的, 接下来的是今日的面试题：1.Flink 中水印是什么概念，起到什么作用？****Watermark 是 Apache Flink 为了处理 EventTime 窗口计算提出的一种机制, 本质上是一种时间戳。 一般来讲Watermark经常和Window一起被用来处理乱序事件。2.Flink Table &
转载
2024-04-26 17:10:40
21阅读
一、前言 最近几天因为工作比较忙，已经几天没有及时更新文章了，在这里先给小伙伴们说声抱歉…临近周末，再忙再累，我也要开始发力了。接下来的几天，菌哥将为大家带来关于FlinkSQL的教程，之后还会更新一些大数据实时数仓的内容，和一些热门的组件使用！希望小伙伴们能点个关注，第一时间关注技术干货！二、Flink
说明：本文为《Flink大数据项目实战》学习笔记，想通过视频系统学习Flink这个最火爆的大数据计算框架的同学， 2.4字段表达式实例-Java以下定义两个Java类：public static class WC {
public ComplexNestedClass complex;
private int count;
public int getCou
nchar与char是相似的，nvarchar与varchar是相似的。
char类型： 对英文(ASCII)字符占用1个字节，对一个汉字占用2个字节，CHAR存储定长数据很方便，CHAR字段上的索引效率级高，比如定义 char(10)，那么不论你存储的数据是否达到了10个字节，都要占去10个字节的空间，不够的字符用空格去填。因为是固定长度，所以速度效率高。
Varchar类型：Varchar
转载
2023-12-20 00:54:55
75阅读
# 使用Flink CDC实现MySQL数据同步
随着大数据技术的普及，数据同步成为了企业实时数据分析的重要组成部分。Flink CDC（Change Data Capture）是 Apache Flink 提供的一种高效的增量数据捕获解决方案。在本文中，我们将讲解如何通过 Flink CDC 实现 MySQL 数据的同步。本文适合初学者，以下将详细介绍操作步骤、代码实现及相关配置。
## 实
原创
2024-11-02 05:39:14
37阅读
# Flink CDC MySQL 数据类型详解
在大数据生态中，Flink 和 MySQL 是两个不可或缺的组件。Flink 是一种流处理框架，而 MySQL 则是一个广泛使用的关系型数据库管理系统。结合使用 Flink CDC（Change Data Capture）可以实现对 MySQL 数据变化的实时监控和处理。本文将详细探讨 Flink CDC 中 MySQL 的数据类型，以及如何在实
