Tips | Flink 使用 union 代替 join、cogroup本系列每篇文章都比较短小，不定期更新，从一些实际的 case 出发抛砖引玉，提高小伙伴的姿♂势水平。本文介绍在满足原有需求、实现原有逻辑的场景下，在 Flink 中使用 union 代替 cogroup(或者join) ，简化任务逻辑，提升任务性能的方法，阅读时长大概一分钟，话不多说，直接进入正文！需求场景分析需求场景需求诱
转载
2023-12-21 23:39:24
36阅读
# Flink CDC MongoDB
## 什么是Flink CDC？
Flink CDC是Apache Flink的一个模块，用于连接和捕获外部数据源的变化，例如关系型数据库、消息队列等。CDC代表"Change Data Capture"，即变化数据捕获。Flink CDC通过捕获数据源的变化来实时地获取增量数据，并将其转化为流数据，使得我们可以在Flink中对这些数据进行实时处理和分析
原创
2023-11-03 05:10:27
212阅读
前言 关于cdc（change data capture）不知道的小伙伴们可以去百度一下，简单来说就是对于数据库的变更进行一个探测，因为数据库的更改对于客户端来说是没有感知的，你需要开启线程去查询，才知道数据有没有更新，但是就算是查询，如果是直接select * from ....,这样获取的结果还要和上次获取的结果对比，才知道数据有没有发生变化
转载
2023-09-27 13:42:28
262阅读
# 使用 Flink 实现 MongoDB CDC（变更数据捕获）
在大数据处理领域，Apache Flink 是一个强大的流处理框架，而 MongoDB 是一个流行的 NoSQL 数据库。通过将两者结合，我们可以实现对 MongoDB 数据的实时变更捕获（CDC，Change Data Capture）。本文将详细介绍如何使用 Apache Flink 从 MongoDB 捕获数据变更，并示例
原创
2024-10-22 05:15:50
88阅读
导言MongoDB 是一个比较成熟的文档数据库，在业务场景中，通常需要采集 MongoDB 的数据到数据仓库或数据湖中，面向分析场景使用。Flink MongoDB CDC 是 Flink CDC 社区提供的一个用于捕获变更数据（Change Data Capturing）的 Flink 连接器，可连接到 MongoDB 数据库和集合，并捕获其中的文档增加、更新、替换、删除等变更操作。Apache
本文讲解版本截止到FlinkCDC 2.2一、概述1.1 FlinkCDC 简介Flink CDC (Flink Change Data Capture) 是基于数据库的日志 CDC 技术，实现了全增量一体化读取的数据集成框架。搭配Flink计算框架，Flink CDC 可以高效实现海量数据的实时集成。
转载
2023-10-04 19:14:39
494阅读
系列文章目录实践数据湖iceberg 第一课 入门实践数据湖iceberg 第二课 iceberg基于hadoop的底层数据格式实践数据湖iceberg 第三课 在sqlclient中，以sql方式从kafka读数据到iceberg实践数据湖iceberg 第四课 在sqlclient中，以sql方式从kafka读数据到iceberg（升级版本到flink1.12.7）实践数据湖iceberg 第
转载
2023-12-06 20:02:30
192阅读
1.关系型数据库采集技术变迁史1.1 关系型数据库数据采集的使用场景错误使用场景 正确使用场景1.2 CDC技术介绍CDC 的全称是 Change Data Capture ，广义上，只要是能捕获数据变更的技术，我们都可以称之为 CDC 。我们通常描述的 CDC 技术是一种用于捕获数据库中数据变更的技术，主要是面向关系型数据库。CDC 技术的应用场景非常广泛，主要包括：1.数
转载
2024-01-29 02:31:39
142阅读
一、CDC简介1.1 什么是CDC CDC是Change Data Capture（变更数据获取）的简称。核心思想是，监测并捕获数据库的变动（包括数据或数据表的插入、更新以及删除等），将这些变更按发生的顺序完整记录下来，写入到消息中间件中以供其他服务进行订阅及消费。1.2 CDC的种类CDC主要分为基于查询和基于Binlog两种方式，我们主要了解一下这两种之间的区别：基于查询的CDC基于Binl
转载
2023-11-25 12:38:38
354阅读
简介Apache Flink提供了一种容错机制，可以持续恢复数据流应用程序的状态。该机制确保即使出现故障，经过恢复，程序的状态也会回到以前的状态。Flink 主持 at least once 语义 和 exactly once 语义Flink 通过定期地做 checkpoint 来实现容错 和 恢复, 容错机制不断地生成数据流的快照, 而不会对性能产生太大的影响。流应用程序的状态存储在一个可配置的
转载
2023-11-06 22:40:03
139阅读
# 如何配置 Flink CDC MongoDB
Apache Flink 结合 Change Data Capture (CDC) 技术，可以实现对 MongoDB 数据库的实时数据流处理。对于刚入行的小白来说，以下是实现 Flink CDC MongoDB 的完整流程和代码说明。
## 流程概览
我们可以将整个实现过程拆分成以下几个步骤：
| 步骤 | 描述 |
| --- | ---
原创
2024-10-04 04:45:41
143阅读
# Flink CDC 抽取 MongoDB
## 引言
随着大数据时代的到来，越来越多的企业开始关注数据的实时处理和分析能力。而 Flink 作为一个流式大数据处理框架，因其高性能、低延迟和易用性而受到广泛关注。在实时数据处理过程中，CDC（Change Data Capture）技术非常重要，它能够实现对数据源变化的实时捕获和处理。本文将介绍如何使用 Flink CDC 抽取 MongoD
原创
2023-11-12 13:07:45
96阅读
问题导读： 1、如何理解流计算？ 2、什么是Flink？ 3、Flink的关键技术点有哪些？ 4、使用Flink遇到哪些问题？随着云计算的深入落地，大数据技术有了坚实的底层支撑，不断向前发展并日趋成熟，无论是传统企业还是互联网公司，都不再满足于离线批处理计算，而是更倾向于应用实时流计算，要想在残酷的企业竞争中立于不败之地，企业数据必须被快速处理并输出结果，流计算无疑将是企业Must Have的大杀
转载
2024-09-20 09:40:57
38阅读
# Flink CDC与MongoDB的工作原理
Flink CDC（Change Data Capture）是一种用于捕获数据库变化的技术，它能够实时地将数据库的修改同步到对数据流进行处理的平台。MongoDB作为一个流行的NoSQL数据库，其与Flink CDC的结合，使得我们能通过流式处理技术来高效地处理和分析数据。本文将介绍Flink CDC如何与MongoDB进行集成，并提供代码示例，
## 如何实现MongoDB与Flink CDC的集成
在大数据处理和实时数据流监控的领域中，Flink CDC（Change Data Capture）与MongoDB的集成是一个非常实用的技术。今天，我们将深入了解如何实现这一整合。
### 整体流程概述
在进行MongoDB与Flink CDC的集成时，我们需要遵循以下几个步骤：
| 步骤 | 操作 | 说明 |
|------|--
# Flink CDC: 实时数据同步解决方案
## 引言
在现代数据架构中，数据不仅以批处理的形式存储和处理，还需要以实时的方式进行同步和分析。Flink CDC（Change Data Capture）是一种流数据处理解决方案，提供了将关系型数据库中的数据实时同步到其他系统的能力。本文将介绍如何使用Flink CDC将MySQL中的数据同步到MongoDB，并提供了相应的代码示例。
##
原创
2023-10-22 10:22:16
177阅读
在连接和登录 MongoDB 过程中，用户常面临各种问题，包括连接失败、认证错误等。本文将以完整的步骤，详细描述如何有效地解决“登录 MongoDB”类型的问题。
## 环境准备
在解决 MongoDB 登录问题前，需要确保环境的正常搭建。以下是准备的前置依赖安装。
1. **安装 MongoDB**：
通过 MongoDB 官网 [MongoDB Download Center](
这里首先介绍什么是cdcCDC是Change Data Capture（变更数据捕获）的简称。其核⼼原理是监测并捕获数据库的变动（增删改等），将 这些变更按发⽣的顺序捕获，当然也可以写⼊到消息队列中供其他服务消费cdc捕获数据实现CDC即捕获数据库的变更数据有两种机制：CDC主要分为基于查询和基于Binlog两种方式，这两种之间的区别： 图1
根据图1可以看到基于cdc可以实
转载
2023-11-12 14:30:07
51阅读
1、一个flink任务的不同状态我们先来简单看下，一个flink任务从创建到消亡会经历哪些状态。在启动一个Flink job的时候，可以从控制台看到job和task的多个状态的切换 Flink job的状态变化 在执行ExecutionMap期间，每个并行任务经历多个阶段，从创建到完成或失败。2、一个简单的flink任务//1. 构建执行环境
final StreamExecutionEn
转载
2024-05-09 12:35:23
55阅读
一、CDC是什么?CDC(Change Data Capture),变更数据获取的简称，使用CDC我们可以从数据库中获取已提交的更改并将这些更改发送到下游，供下游使用。这些变更可以包括INSERT,DELETE,UPDATE等.用户可以在如下的场景使用cdc：实时数据同步：比如我们将mysql库中的数据同步到我们的数仓中。数据库的实时物化视图。1.1、业界主要有 基于查询的 CDC 和 基于日志的
转载
2024-02-23 20:49:10
137阅读
