本篇博客记录基于Flink 1.9.1发行版的SQL Client入门实践在此入门实践中你可以学到：搭建Flink、Kafka生产环境使用Flink SQL查询Kafka Source TableSQL Client本身无需过多介绍，详情可以参考官方文档我认为SQL Client入门的主要难点是搭建运行环境搭建运行环境因为SQL Client的启动脚本.sh文件只能在linux\Mac环境使用，w
转载
2024-05-25 11:34:07
37阅读
随着互联网飞速发展，企业业务种类会越来越多，业务数据量会越来越大，当发展到一定规模时，传统的数据存储结构逐渐无法满足企业需求，实时数据仓库就变成了一个必要的基础服务。以维表 Join 为例，数据在业务数据源中以范式表的形式存储，在分析时需要做大量的 Join 操作，降低性能。如果在数据清洗导入过程中就能流式的完成 Join，那么分析时就无需再次 Join，从而提升查询性能。
 
转载
2024-06-06 13:20:48
47阅读
1、Transform1.1 mapval streamMap = stream.map { x => x * 2 }1.2 flatmapflatMap的函数签名：def flatMap[A,B](as: List[A])(f: A ⇒ List[B]): List[B]例如: flatMap(List(1,2,3))(i ⇒ List(i,i))结果是List(1,1,2,2,
转载
2024-05-22 11:21:15
103阅读
Flink入门系列文章主要是为了给想学习Flink的你建立一个大体上的框架，助力快速上手Flink。学习Flink最有效的方式是先入门了解框架和概念，然后边写代码边实践，然后再把官网看一遍。Flink入门分为四篇，第一篇是《了解Flink》，第二篇《架构和原理》，第三篇是《DataStream》，第四篇是《Table Api & SQL》。官网地址https://nightlies.apa
flink的运行其实不需要这些，但是如果需要模拟一些业务场景，就需要依赖zk、kafka等中间件，下面记录一些安装、配置的简要内容。 由于公司机器是win10，这边的操作都是基于win环境的，linux下可能稍有改动。安装zk：下载地址：zookeeper.apache.org/releases.html下载后，解压放在目录D:bigdata(本文所用的目录)下，关于zookeeper以
转载
2024-02-27 10:28:14
76阅读
# 监控 MySQL Binlog 使用 Flink
在大数据处理领域，Apache Flink 是一个非常流行的实时流处理引擎。它提供了强大的功能和灵活性，可以用于实时数据处理、批处理和机器学习等领域。在实际应用中，我们通常需要监控 MySQL 数据库的 binlog 变化，以便实时同步数据到其他系统或进行实时分析。
## 什么是 MySQL Binlog
MySQL 的 binlog 是
原创
2024-03-25 04:26:53
517阅读
Flink 基础 Flink特性流式计算是大数据计算的痛点，第1代实时计算引擎Storm对Exactly Once 语义和窗口支持较弱，使用的场景有限且无法支持高吞吐计算；Spark Streaming 采用“微批处理”模拟流计算，在窗口设置很小的场景中有性能瓶颈，Spark 本身也在尝试连续执行模式（Continuous Processing），但进展缓慢。Flink是一个低延迟、高
一、log4j2概述 在日常的开发，测试和生产环境中，日志记录了应用，服务运行过程中的关键信息，以及出现异常时的堆栈，这些信息常常作为查询，定位，解决问题的关键，因此在任何系统中，对日志的使用得当，将极大的提高程序问题解决的效率。 Log4j的1.x版本虽然已经被广泛使用于很多应用程序中，但由于出现内存泄漏等bug，代码难以维护，以及需要使用老版本的jdk等劣势，在2015年8月已经玩完。它的
转载
2024-07-09 10:34:02
26阅读
## 订阅MySQL Binlog 数据流
### 什么是Binlog
在MySQL数据库中，二进制日志（Binary Log）是MySQL的一种日志文件，用于记录数据库中所有操作的事件。这些事件包括INSERT、UPDATE、DELETE等操作，可以通过解析二进制日志来获取数据库的实时变更情况。
### Flink如何订阅MySQL Binlog
Apache Flink是一个开源的流处
原创
2024-03-22 06:37:23
75阅读
# 使用 Flink 采集 MySQL Binlog 的探索之旅
## 引言
随着大数据技术的发展，实时数据处理变得越来越重要。MySQL 作为一个流行的关系型数据库，它的 Binlog（Binary Log）记录了所有对数据库的更改，是实现数据变更捕获的理想选择。而 Apache Flink 作为一个强大的流处理框架，可以轻松地从 MySQL 的 Binlog 中实时提取数据。
在本篇文章
# Flink 解析 MySQL Binlog 的详细教程
## 1. 引言
Apache Flink 是一个框架和分布式处理引擎，用于处理无界和有界数据流。MySQL 的 Binlog（Binary Log）是记录数据库变更的日志文件。通过 Flink 解析 MySQL Binlog 可以实现实时数据处理和 ETL（提取、转换和加载）等相关功能。本教程将逐步引导你完成这一过程，并提供示例代码
1、exactly once要保证flink 端到端需要满足以下三点 1、flink要开启checkpoint 2、source支持数据重发 3、sink端幂等性写入、事务性写入。我们常使用事务性写入sink 事务性写入分为两种方式 1、WAL（预写日志的方式）：先将数据当作状态保存，当收到checkpoint完成通知后，一次性sink到下游系统 2、2pc（两阶段提交）：大致的实现的过程就是：开
转载
2024-03-29 10:02:07
84阅读
# 实现 Flink CDC MySQL Binlog
## 简介
Flink CDC（Change Data Capture）是 Apache Flink 提供的一种用于抓取和处理数据变化的功能。通过 Flink CDC，我们可以将数据源中的数据变化捕获并实时处理，从而实现数据的实时同步、ETL（Extract, Transform, Load）等应用场景。本文将介绍如何使用 Flink CD
原创
2023-07-31 17:34:30
327阅读
# Flink读取MySQL Binlog的探索
随着数据实时处理的需求日益增长，Apache Flink作为一个强大的数据流处理框架逐渐受到越来越多企业的青睐。在大数据领域，MySQL的变更数据捕捉（CDC）是实现数据实时化的重要手段之一。通过Fl以上存储实时数据，从MySQL中读取binlog（binary log）便可以轻松实现。
## 什么是MySQL Binlog？
MySQL的二
原创
2024-09-26 05:24:31
163阅读
# 使用 Java Flink 监听 Binlog
随着数据驱动的决策在现代企业中越来越重要，数据的实时处理尤为关键。MariaDB 和 MySQL 数据库支持的一种重要技术是 Binlog（Binary Log）。它记录了数据库的所有变更事件。通过利用 Apache Flink 进行 Binlog 的实时监听，我们可以实现对数据库变更的实时处理。
## 什么是 Binlog？
Binlog
原创
2024-10-02 04:10:04
154阅读
简介： 随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主要以顺风车这个业务为引子，从引擎侧、平台侧和业务侧各个不同方面，来阐述滴滴所做的工作，分享在建设过程中的经验。随着滴滴业务的高速发展，业务对于数据时效性的需求越来越高，而伴随着实时技术的不断发展和成熟，滴滴也对实时建设做了大量的尝试和实践。本文主
第一章 CDC简介1.1 什么是CDC CDC (Change Data Capture 变更数据获取）的简称。核心思想就是，检测并获取数据库的变动（增删查改），将这些变更按发生的顺序记录下来，写入到消息中间件以供其它服务进行订阅及消费。1.2 CDC的种类主要分为两大类：基于查询通过sql查询来获取变化部分的数据。如：通过时间查询前一天、最近一个小时的数据。基于binlog日志binlog记录了
转载
2024-07-18 18:58:53
78阅读
1.前言下面的答案都是博主收集小伙伴萌的答案 + 博主自己的理解进行的一个总结。2.Join 的应用场景关于 Join 的场景就太多太多了，在离线数仓开发中，Join 是最常用的算子之一了。比如：⭐ 几乎所有公司的 APP 都会涉及到的曝光关联点击；两条流数据之间的维度拼接；将表打宽等等⭐ 电商场景中的退单的订单关联下单的订单分析退单的单的特点等3.为什么流式计算中提到 Join 小伙伴萌就怕呢？
转载
2024-07-24 15:00:28
39阅读
一、Catalog定义 Catalog 提供了元数据信息，例如数据库、表、分区、视图以及数据库或其他外部系统中存储的函数和信息。数据处理最关键的方面之一是管理元数据。 元数据可以是临时的，例如临时表、或者通过 TableEnvironment 注册的 UDF。 元数据也可以是持久化的二、Catalog在F
转载
2024-03-19 01:44:46
40阅读
风雨送春归，飞雪迎春到。已是悬崖百丈冰，犹有花枝俏。俏也不争春，只把春来报。待到山花烂漫时，她在丛中笑。选自《卜算子·咏梅》图片来自网络，如侵权，请联系删除有不少读者反馈，参考上篇文章《Hive 终于等来了 Flink》部署 Flink 并集成 Hive 时，出现一些 bug 以及兼容性等问题。虽已等来，却未可用。所以笔者增加了这一篇文章，作为姊妹篇。回顾在上篇文章中，笔者使用的 CDH 版本为
转载
2023-12-05 16:49:40
68阅读
