这段时间开始调研使用 StarRocks 做准实时数据仓库：flink cdc 实时同步数据到 StarRocks，然后在 StarRocks 中做分层计算，直接把 StarRocks 中的 ADS 层提供给 BI 查询。架构如下：由于用到的表比较多，不能用 Flink SQL 给每个表都做个 CDC 的任务（任务太多不好维护、对数据库又可能有些压力），就用 Flink Stream Api 写了
转载
2024-08-19 14:59:12
355阅读
# 教你如何实现"java集成flink cdc"
## 概述
作为一名经验丰富的开发者，我将教你如何实现"java集成flink cdc"。首先，我们需要了解整个流程，然后逐步实现每个步骤。
## 流程图
```mermaid
flowchart TD
A(开始)
B(创建Flink环境)
C(配置CDC连接)
D(定义CDC表)
E(实现CDC逻辑)
原创
2024-06-15 06:20:57
326阅读
自制Flink Parcel集成CDH（Flink1.13.2 + CDH6.2.1+Scala2.11）记录制作flink parcel环境（虚拟机，系统CentOS7.6）（1）jdk1.8（open）
（2）maven3.8.1
（3）parcel制作工具jdk、maven自行安装flink 相关下载注：可不需要提前下载
flink下载地址：https://archive.apache.or
转载
2024-10-03 14:57:28
135阅读
1 说明1.1 案例说明本文使用 Flink CDC 最新版本 2.2 及 Flink 1.14 版本通过 Java DataStream API 做 双流 Join 案例。双流 Join 大致流程：双流Join案例具体划分有：时间窗口联结处理事件窗口联结 处理时间窗口 内联结 案例处理时间窗口 外联结 案例事件时间窗口联结 事件时间窗口 内联结 案例事件时间窗口 外联结 案例间隔
转载
2024-04-11 12:07:53
127阅读
目录前言：1、springboot引入依赖：2、yml配置文件3、创建SQL server CDC变更数据监听器4、反序列化数据,转为变更JSON对象5、CDC 数据实体类6、自定义ApplicationContextUtil7、自定义sink 交由spring管理，处理变更数据前言： 我的场景是从SQL Server数据库获取指定表的增量数据
转载
2023-10-19 16:09:03
489阅读
1评论
文章目录准备一、编译flink二、制作Flink的parcel包和csd文件1. 下载制作脚本2 修改参数3 复制安装包4 编译parcel5 编译csd6 上传文件7 重启CDH server三、CDH集成1.打开CDH登录界面2 进入Parcel操作界面3 分配Parcel4 激活Parcel5 回主界面6.添加flink服务错误1错误2四、验证Flink服务错误3错误4准备版本： Cento
转载
2023-12-11 12:05:39
127阅读
一.flink CDC 目前还有许多要完善的,用起来感觉还不错的,我这边自己研究了下. 自己有些心得 1.在flink cdc 自定义反序列化器 测试 修改主键后会终止程序 报错 Recovery is suppressed by NoRestartBackoffTimeStrategy 我这边没时间继续查找研究.希望有人继续研究吧! 2.希望flink cdc 支持 Oracle,这
转载
2023-12-06 19:13:20
124阅读
解决了数据同步过程中源数据⼀致性的保证、全量数据和增量数据的同步以及 DDL 数据的变更后，一个完整的数据同步⽅案就基本形成了。3.2 如何基于Flink实现多种数据集成除了上文中所提及的基于 Flink CDC 进行数据增量/全量同步外，我们还可以基于 Flink Job 和 Doris 来构建多种不同的数据集成方式：将Mysql中两个表的数据同步到Flink后，在Flink内部进行多
# Flink CDC到Hive实现流程
## 1. 概述
本文将介绍如何使用Apache Flink实现Change Data Capture（CDC）到Hive的流程。CDC是一种用于捕捉和传输数据库更改的技术，Hive是一个基于Hadoop的数据仓库工具。通过将Flink与Hive集成，我们可以将实时的数据库更改数据流导入到Hive中进行分析和查询。
下面是实现这个流程的步骤概览：
原创
2023-08-21 03:34:54
557阅读
## Flink CDC 到 Hive 的实现流程
Apache Flink 是一个强大的流式处理框架，而 Change Data Capture (CDC) 是数据库变化捕获的一种方式。结合这两者，我们能够实时将数据库的变化流转到 Hadoop Hive 数据仓库中。这篇文章将指导你一步步实现 Flink CDC 到 Hive 的数据流转。
### 整体流程
我们可以将整个流程分为以下几个
原创
2024-08-30 08:03:49
63阅读
一. 背景数据准实时复制（CDC）是目前行内实时数据需求大量使用的技术，随着国产化的需求，我们也逐步考虑基于开源产品进行准实时数据同步工具的相关开发，逐步实现对商业产品的替代。我们评估了几种开源产品，canal,debezium,flink CDC等产品。作了如下的对比：组件CanalDebeziumFlink开源方阿里redhatflink社区+阿里开发语言JavaJavaJ
转载
2023-09-01 18:53:15
1966阅读
Flink cdc 2.1.1 发布后，更新了很多新功能以及知识点，今天为大家全面总结了 CDC 的知识点如 无锁算法及面试高频考点。具体内容如下：1 cdc 简介2 Flink cdc 2.1.1 新增内容3 核心知识点解刨4 CDC 高频面试题 1 cdc 简介CDC (Change Data Capture) 是一种用于捕捉数据库变更数据的技术，Flink 从 1.11 版本开始原
转载
2023-09-24 22:08:38
587阅读
一. 背景数据准实时复制（CDC）是目前行内实时数据需求大量使用的技术，随着国产化的需求，我们也逐步考虑基于开源产品进行准实时数据同步工具的相关开发，逐步实现对商业产品的替代。我们评估了几种开源产品，canal,debezium,flink CDC等产品。作了如下的对比：组件CanalDebeziumFlink开源方阿里redhatflink社区+阿里开发语言JavaJavaJ
转载
2023-10-08 22:08:48
1061阅读
# 使用 Flink CDC 实现 MySQL 到 Flink 的数据同步
Apache Flink 是一个强大的流处理框架，提供了低延迟和高吞吐量的数据流处理能力。与 Apache Flink 一起使用的一个常见用例是将 MySQL 数据库中的数据实时同步到 Flink 中进行处理和分析。Flink 的 Change Data Capture（CDC）功能，使这一过程变得简单而高效。
##
在本文中，我将重点介绍如何将 Spring Boot 集成到 Flink CDC。当需要利用 Flink 的流式数据处理能力与 Spring Boot 的便捷开发框架结合时，这种集成方式尤为重要。以下是具体的实现过程，涵盖了环境准备、集成步骤、配置详解、实战应用、排错指南以及生态扩展。
## 环境准备
为了进行集成，我首先搭建了如下环境：
- **JDK：** 11及以上版本
- **Mav
下载安装下载地址, go语言中文网https://studygolang.com/dl本文以windows为例, 下载 go1.20.6.windows-amd64.msi 这个包如果用默认路径安装会自动配置用户环境变量, 默认go环境变量为C盘目录, 这里作者修改安装地址到 D:\GOSDK.环境变量由于修改了安装目录, 自动配置的环境变量已经无用, 进入系统高级设置>环境变量, 删除用户
# Spring Boot 集成 Flink CDC 实现指南
## 一、项目概述
在数据处理中，Flink CDC（Change Data Capture）是一种非常有用的实时数据捕捉技术。通过结合 Spring Boot 和 Flink CDC，你可以轻松构建基于数据变化的实时数据流应用。本文将详细介绍如何将 Spring Boot 与 Flink CDC 集成，分步实现这一目标。
##
原创
2024-10-26 06:37:32
517阅读
1.Flink cdc 概念CDC 的全称是 Change Data Capture ，在广义的概念上，只要能捕获数据变更的技术，我们都可以称为 CDC 。通常我们说的 CDC 技术主要面向
数据库的变更，是一种用于捕获数据库中数据变更的技术。2.应用场景1. 数据同步，用于备份，容灾
2. 数据分发，一个数据源分发给多个下游
3. 数据采集(E)，面向数据仓库/数据湖的 ETL 数据集成3.cd
转载
2023-10-14 12:50:22
153阅读
一.flume的安装安装JDK 1.8+ 配置JAVA_HOME环境变量-略安装Flume下载地址http://mirrors.tuna.tsinghua.edu.cn/apache/flume/1.9.0/apache-flume-1.9.0-bi n.tar.gz 3.解压安装flume[root@CentOS ~]# tar -zxf apache-flume-1.9.0-bin.tar.g
转载
2024-02-22 22:37:26
140阅读
一、Checkpoint概念 上篇文章我们已经讲了Flink的状态管理，对于这些状态如何保存，我们一起学习一下Flink的Checkpoint机制。Flink本身为了保证其高可用的特性，以及保证作用的Exactly Once的快速恢复，进而提供了一套强大的Checkpoint机制。 Checkpoint机制是Flin
转载
2023-11-16 14:56:19
231阅读
