1、Flink环境搭建（环境搭建自己去搭建下）使用的Flink版本是1.17.12、Doris环境搭建（环境搭建自己去搭建下）使用mysql工具链接3、同步实现原理监听Mongo的Change Stream，将数据的变化实时同步到Doris4、同步实现4.1 同步脚本实现方案(需要前置准备jar包，添加jar包还得重启flink服务，执行脚本还得上服务运行，不方便，而且对添加自定义字段等自定义场景
# Flink CDC 连接 MongoDB 的探秘之旅
Apache Flink 是一个强大的批处理和流处理框架，支持多种数据源和数据目标。Flink CDC（Change Data Capture）是 Flink 的一部分，主要用于捕获数据库的变化并将其流式传输。本文将介绍如何使用 Flink CDC 连接 MongoDB，并给出详细的代码示例。
## 一、背景知识
MongoDB 是一
## 使用Java代码实现Flink和Kafka的连接
Apache Flink是一个分布式流处理框架，而Apache Kafka是一个分布式流平台，它们都被广泛应用于实时数据处理。本文将介绍如何使用Java代码实现Flink和Kafka的连接，并提供相应的代码示例。
### 1. 环境准备
在开始之前，确保已经安装了以下环境：
- Apache Flink
- Apache Kafka
原创
2023-07-19 11:47:41
178阅读
有可能是端口错误可以排查下这方便先给大家简述一下我的坑吧，（我用的是mysql，至于oracle有没有这样的问题，有心的小伙伴们可以测试一下哈），在自己做个javaweb测试项目的时候，因为买的是云服务器，所以数据库连接的是用ip地址，用IDE开发好后，于是部署到远程云服务器上，这时候我是直接部署上去的，如图所示，数据库配置就是这样的（图中连接地址是假的，我改过了，这里仅仅演示） 过了
转载
2024-01-04 11:34:55
139阅读
# Flink CDC 连接 MySQL 时区问题探究
在大数据处理的场景下，Apache Flink 作为一种流式处理框架，不断地受到开发者的青睐。而当我们使用 **Flink CDC**（Change Data Capture）连接 **MySQL** 数据库时，时区问题经常会成为一个困扰。本文将简要介绍如何在 Flink CDC 中正确处理 MySQL 的时区问题，并提供相应的代码示例。
原创
2024-10-09 03:27:59
318阅读
# MySQL使用加密连接的实现指南
在现代软件开发中，数据安全越来越受到重视，尤其是在传输数据时。MySQL数据库支持加密连接，确保在客户端与服务器之间传输的数据是安全的。下面，我将逐步指导你如何在MySQL中实现加密连接，并展示相关步骤与代码示例。
## 流程概述
为了实现MySQL的加密连接，我们需要按照以下步骤进行操作。以下是整个过程的简要流程表：
| 步骤 | 任务
目录1.概要设计1.1 架构设计1.1.1集成与JobManager1.1.2 作业提交与调度1.1.3 REST API接口1.1.4 高可用性设计1.2 核心原理分析1.2.1 作业调度与资源管理1.2.2 容错与恢复1.2.3 安全性与权限控制1.2.4 可扩展性与灵活性1.2.5 与JobManage
转载
2024-07-27 10:39:02
28阅读
Kafka作为分布式消息传输队列，是一个高吞吐、易于扩展的消息系统。而消息队列的传输方式，恰恰和流处理是完全一致的。所以可以说Kafka和Flink天生一对，是当前处理流式数据的双子星。在如今的实时流处理应用中，由Kafka进行数据的收集和传输，Flink 进行分析计算，这样的架构已经成为众多企业的首选：略微遗憾的是，与Kafka的连接比较复杂，Flink内部并没有提供预实现的方法。所以只能采用通
转载
2023-05-24 15:31:28
824阅读
# 使用 Flink CDC 连接 MySQL 的详细指南
Flink CDC 是 Apache Flink 的一部分，用于实时捕获数据库变化的工具。通过 Flink CDC，我们可以将 MySQL 的数据实时同步到流处理系统。对于刚入行的小白，连接 MySQL 中的表可能会遇到许多问题，今天，我将详细介绍整个流程，并提供每一步所需的代码和注释。
## 整个流程的步骤
下面的表格展示了我们需
package com.cn.stream.joins;
import org.apache.flink.api.common.functions.MapFunction;
import org.apache.flink.api.common.serialization.SimpleStringSchema;
import org.apache.flink.api.common.state.V
转载
2024-06-18 08:40:50
38阅读
# 项目方案：检查MySQL是否使用加密连接
## 项目背景
在开发过程中，我们经常需要确保数据库连接是加密的，以保护敏感数据的安全。而MySQL作为一种常用的数据库管理系统，在连接过程中也可以选择是否启用加密连接。因此，我们需要一个方案来检查MySQL连接是否使用加密。
## 方案概述
本项目方案旨在提供一种方法来检查MySQL连接是否使用加密协议。我们将通过查询MySQL的参数配置来判断是
原创
2024-07-09 06:14:31
103阅读
随着互联网的发展和智能设备的普及，数据安全问题变得越来越重要。而数据加密作为一种常用的安全措施，可以有效地保护敏感信息的机密性和完整性。Python作为一种流行的编程语言，提供了丰富的加密库和工具，可以帮助我们实现数据加密的需求。本文将介绍常见的对称加密和非对称加密算法，以及如何在Python中使用这些算法进行数据加密。一、对称加密对称加密是一种使用相同密钥进行加密和解密的加密方式。常见的对称加密
原创
2023-12-01 16:06:04
119阅读
MsSQL使用加密连接SSL/TLS 说明 应用程序通过未加密的通道与数据库服务器通信, 这可能会造成重大的安全风险。在这种情况下, 攻击者可以修改用户输入的数据, 甚至对数据库服务器执行任意 SQL 命令。 例如，当您使用以下连接字符串时，就可能存在这种风险： <connectionStrings ...
转载
2021-05-16 18:19:52
949阅读
2评论
flink数据状态一致性1状态一致性级别1.1 AT-MOST-ONCE (最多一次)：1.2 AT-LEAST-ONCE (至少一次)：1.3 EXACTLY-ONCE (精确一次)：1.4 分布式快照与至少一次事件传递和重复数据删除的比较2flink内部实现状态一致性3 端到端的一致性3.1 Source3.2 Sink3.2.1 幂等写入3.2.2 事务写入3.2.2.1 两阶段提交3.2
1、Transform1.1 mapval streamMap = stream.map { x => x * 2 }1.2 flatmapflatMap的函数签名：def flatMap[A,B](as: List[A])(f: A ⇒ List[B]): List[B]例如: flatMap(List(1,2,3))(i ⇒ List(i,i))结果是List(1,1,2,2,
转载
2024-05-22 11:21:15
103阅读
# 绕开 Flink CDC 和 Hadoop 的数据处理方案
## 引言
随着大数据技术的快速发展，许多企业都在寻求高效的数据处理方案。Flink CDC 和 Hadoop 是目前常用的数据处理工具，但在某些场景中，使用这些工具可能会面临性能瓶颈、复杂性高等问题。本文将探讨一种替代方案，通过使用 Kafka 和 Spark Streaming 来实现流式数据处理，并提供一个完整的项目实施方案
原创
2024-09-10 06:48:12
59阅读
通过阿里巴巴开源的 Druid 实现 MySQL 的密码加密，Druid 的加密过程无需编写任何代码，只需要添加 Druid 依赖，再通过 Druid 的工具类生成密文，最后将密文配置到 application.yml 文件即可。项目在运行时会通过拦截器将密文转换成真正的密码，从而实现了 MySQL 密码的加密和解码的过程。
原创
2023-01-19 09:28:06
219阅读
Flink-dataStream的种类和基本使用mapflatMapfilterkeyBykeyBy使用元组keyBy自定义BeankeyBy多字段分组reducemax/min 官方案例以及说明地址： 官方案例 map取一个元素并产生一个元素。一个映射函数，将输入流的值加倍public static void main(String[] args) throws Exception {
转载
2024-04-18 12:46:34
59阅读
本篇文档将演示如何使用 Apache Doris Flink Connector 结合 Flink CDC 以及 Doris Stream Load 的两阶段提交，实现 MySQL 数据库分库分表实时高效接入，并实现 Exactly Once。一、概述在实际业务系统中为了解决单表数据量大带来的各种问题，我们通常采用分库分表的方式对库表进行拆分，以达到提高系统的吞吐量。但是这样给后面数据分析带来了麻
转载
2023-10-17 18:27:39
143阅读
State的作用state是Flink程序某个时刻某个task/operator的状态，state数据是程序运行中某一时刻数据结果。首先要将state和checkpoint概念区分开，可以理解为checkpoint是要把state数据持久化存储起来，checkpoint默认情况下会存储在JoManager的内存中。checkpoint表示一个Flink job在一个特定时刻的一份全局状态快照，方便
转载
2023-12-10 10:00:53
189阅读
