一、背景介绍 在 OLTP 系统中，为了解决单表数据量大的问题，通常采用分库分表的方式将单个大表进行拆分以提高系统的吞吐量。但是为了方便数据分析，通常需要将分库分表拆分出的表在同步到数据仓库、数据湖时，再合并成一个大表。 &
转载
2023-11-03 15:24:26
224阅读
flink-cdc官网：Oracle CDC Connector — CDC Connectors for Apache Flink® documentationFlink环境依赖: （1）下载postgresql jdbc jar包
postgresql-42.3.5 和 flink-sql-connector-oracle-cdc-2.2.0.jar将包放到f
转载
2023-11-27 20:31:49
262阅读
1、CDC简介 Change Data CaptureFlinkCDC提供一组源数据的连接器，使用变更数据捕获的方式，直接吸收来自不同数据库的变更数据。通过CDC获取源数据表的更新内容，将更新内容作为数据流下发到下游系统，可以做到mysql数据表数据的实时同步操作。基于Flink CDC的MySQL表数据同步流程大致如下：数据源（MySQL）：首先，一个MySQL数据库作为数据源，其中
转载
2024-06-19 21:57:27
93阅读
关于处理函数(Process Function)如下图，在常规的业务开发中，SQL、Table API、DataStream API比较常用，处于Low-level的Porcession相对用得较少，从本章开始，我们一起通过实战来熟悉处理函数(Process Function)，看看这一系列的低级算子可以带给我们哪些能力？ 关于ProcessFunction类处理函数有很多种，最基础的
转载
2024-04-20 10:28:12
47阅读
# 使用SQL Server CDC和Flink实现实时数据流处理
在实时数据流处理中，Change Data Capture (CDC) 技术被广泛应用于捕获数据库中的更改并将这些更改传送到数据处理系统中。SQL Server是一种常见的关系型数据库管理系统，而Apache Flink是一个流处理引擎，能够处理各种复杂的数据流处理场景。本文将介绍如何结合SQL Server CDC和Flink
原创
2024-04-03 06:20:23
106阅读
需求描述最近需要将mysql数据库的某个表中的一个状态信息统计结果并实时显示到数据大屏上思路首先使用flinkcdc监听mysql中的特定表 然后编写一定的处理逻辑得出结果数据 将结果数据通过flink写入到mysql的结果表中技术选型java 1.8mysql 8.0.28flink 1.11.3flink cdc 1.1.0实现数据order_info表（需要处理的数据）flink_count
转载
2024-04-01 09:31:42
127阅读
1.创业的感受累，累，累，已经连续创业3天，2晚失眠睡不着，中午午休也睡不着，衣带渐宽终不悔，为伊消得人憔悴，哈哈....。但是觉得自己在成长和进步，连续不断的输出，让我不得已不断的学习，不断的输入。有时候会觉得，特别的孤独，特么的说好大家一起开源，一起创业，但是真正行动的时候，都看不到人，感觉一个人走在漆黑的一望无际的沙漠中，但是我还是要选择走下去呀，你想想打铁还需自生硬，如果我自己都不行动，那
转载
2024-08-30 16:25:56
79阅读
一. 背景数据准实时复制（CDC）是目前行内实时数据需求大量使用的技术，随着国产化的需求，我们也逐步考虑基于开源产品进行准实时数据同步工具的相关开发，逐步实现对商业产品的替代。我们评估了几种开源产品，canal,debezium,flink CDC等产品。作了如下的对比：组件CanalDebeziumFlink开源方阿里redhatflink社区+阿里开发语言JavaJavaJ
转载
2023-10-08 22:08:48
1061阅读
如何实现 Flink SQL MySQL CDC
## 1. 简介
Flink 是一个分布式流处理框架，而 CDC (Change Data Capture) 是一种将数据库的变更事件捕获并传递给其他系统的技术。在本文中，我将向您展示如何使用 Flink SQL 实现 MySQL CDC，以便您可以了解整个流程和每个步骤所需的代码。
## 2. 流程概述
下面是实现 Flink SQL M
原创
2024-01-31 11:07:50
142阅读
一、背景在探索完FlinkCDC-Hudi的特征和基础应用之后，我们对FlinkCDC-Hudi入湖 程序进行了极限压测，也因此炸出了很多坑，一些是内存不够引起的，一些是bug引起的。相应坑点与解决方法记录如下。二、内存不足炸出的坑内存不足时，表现出的异常有很多种，有各种time out，gc overhead，oom等。内存不足导致taskmanager重启时，大概率会产生数据丢失，因为重启后的
转载
2024-03-08 22:07:07
646阅读
当在分布式系统中引入状态时，自然也引入了一致性问题。一致性实际上是"正确性级别"的另一种说法，也就是说在成功处理故障并恢复之后得到的结果，与没有发生任何故障时得到的结果相比，前者到底有多正确？举例来说，假设要对最近一小时登录的用户计数。在系统经历故障之后，计数结果是多少？如果有偏差，是有漏掉的计数还是重复计数？一致性级别在流处理中，一致性可以分为3个级别:at-most-once(最多一次):这其
Flink-MysqCDC 大事务OOM问题分析与修复
一、背景：
系统刚上线，有些流程还未完全打通，需要通过人工修数的方式来确保业务运行；订单域和财务域都存在大量的人工修数，大伙干得热火朝天，夜深人静的时候，往往忽略了一些基本的准则，在生产环境发现有数据硬删+几十万的大事务更新操作；
这导致了Flink流大面积OOM，严重影响了同步到Kudu，深圳电商msyql和ES数据的准确性，时效性。二、系
转载
2023-11-29 01:16:04
396阅读
一、TableAPI和SQL概述Flink本身是批流统一的处理框架，所以Table API和SQL，就是批流统一的上层处理API。目前功能尚未完善，处于活跃的开发阶段。Table API是一套内嵌在Java和Scala语言中的查询API，它允许我们以非常直观的方式，组合来自一些关系运算符的查询（比如select、filter和join）。而对于Flink SQL，就是直接可以在代码中写SQL，来实
转载
2023-10-10 08:39:57
102阅读
Flink1.11中的CDC Connectors操作实践 汇总7月，Flink 1.11 新版发布，在生态及易用性上有大幅提升，其中 Table & SQL 开始支持 Change Data Capture（CDC）。CDC 被广泛使用在复制数据、更新缓存、微服务间同步数据、审计日志等场景，本文由社区由曾庆东同学分享，主要介绍 Flink SQL CDC 在生产环境的落地实践以及总结的实
转载
2023-11-03 21:28:21
392阅读
Flink CDC 监控 SQL Server
随着数据架构的不断演进，实时数据处理的需求愈发明显。Flink 的变化数据捕获（CDC）功能为许多企业提供了强大的工具，可以从 SQL Server 中实时监控和捕获数据变更。本文将详细介绍如何通过 Flink CDC 监控 SQL Server，包括参数解析、调试步骤、性能调优、最佳实践和生态扩展等内容。
## 背景定位
在一次项目中，我们的
该demo基于flnk 1.10版本，由flink大佬fhueske发布到github：https://github.com/fhueske/flink-sql-demo。动手实践前请先git clone https://github.com/fhueske/flink-sql-demo.git。由于该demo内容较多，所以文章拆成了2部分，此为第一部分。场景和数据介绍此demo主要演示：Flin
转载
2023-10-24 15:03:24
221阅读
1 cdc 简介CDC (Change Data Capture) 是一种用于捕捉数据库变更数据的技术，Flink 从 1.11 版本开始原生支持 CDC 数据（changelog）的处理，目前已经是非常成熟的变更数据处理方案。 Flink CDC Connectors 是 Flink 的一组 Source 连接器，是 Flink CDC 的核心组件，这些连接器负责从 MySQL、Pos
转载
2024-02-02 10:03:55
324阅读
作者：腾讯云流计算 Oceanus 团队流计算 Oceanus 简介 流计算 Oceanus 是大数据产品生态体系的实时化分析利器，是基于 Apache Flink 构建的具备一站开发、无缝连接、亚秒延时、低廉成本、安全稳定等特点的企业级实时大数据分析平台。流计算 Oceanus 以实现企业数据价值最大化为目标，加速企业实时化数字化的建设进
转载
2024-03-13 05:16:33
65阅读
目录对flink checkpoint的理解与实现背景什么是flink checkpoint链接我的一些理解checkpoint实现流程checkpoint存储checkpoint实现checkpoint和savepoint的区别AB Test 对flink checkpoint的理解与实现背景由于我们公司的实时架构主要是kafka -> spark/storm -> kafka -
转载
2024-06-19 18:45:31
130阅读
摘要：本文整理自 Apache Flink Committer，Flink CDC Maintainer，阿里巴巴高级开发工程师徐榜江（雪尽）在 5 月 21 日 Flink CDC Meetup 的演讲。主要内容包括：Flink CDC 技术传统数据集成方案的痛点基于 Flink CDC 的海量数据的实时同步和转换Flink CDC 社区发展点击查看直播回放 & 演讲PDF一、Flink
转载
2024-02-29 07:27:30
221阅读
