前言随着软件技术不断的进步，和用户需求的不断增长，优化性能俨然已经是软件开发的重中之重了。对于并发量和数据量的增加，首先想到的处理方式是分库分表，分库分表解决的高并发和大数据量的问题，同时，数据量增大，遇见分页查询历史数据的情况下，查询又成了新的问题。此时，就需要一些大数据的方式来处理，其中一个方式就是使用elsticsearch处理。本篇文章，介绍的是canal检测mysql数据库变化后发送ka
转载
2024-07-01 19:24:05
62阅读
数据多版本(MVCC)是MySQL实现高性能的一个主要的方式，InnoDB为了实现多版本的一致读，采用的是基于回滚段的协议。通过对普通的SELECT不加锁，直接利用MVCC读取指版本的值，避免了对数据重复加锁的过程，今天我们就用最简单的方式，来分析下MVCC具体的原理，先解释几个概念：一、行结构InnoDB表数据的组织方式为主键聚簇索引。由于采用索引组织表结构，记录的ROWID是可变的(索引页分裂
转载
2023-11-20 13:40:52
87阅读
1.MySQL 5
作为当今最流行的开放源码数据库之一，MySQL数据库为用户提供了一个相对简单的 解决方案，适用于广泛的应用程序部署，能够降低用户的TCO。MySQL是一个多线程、结构化查询语言(SQL)数据库服务器。MySQL的执行性能高， 运行速度快，容易使用。
MySQL包括以下几个关键优势：
◆ 可靠的性能和服务MySQL向公众提供所
转载
2023-08-18 22:24:16
62阅读
Change Data Capture[1] 简称 CDC, 用于异构数据同步，将 database 的数据同步到第三方，这里的 DB 可以是 MySQL, PG, Mongo 等等一切数据源，英文技术圈称之为 Single Source OF True (SSOT), 目标称为 Derived Data Systems。常见的使用场景有：缓存 Cache, 异步的生成，删除，更新缓存 kv构建索
转载
2024-05-08 14:17:55
37阅读
作者：Redfisky 一、共享锁，排他锁InnoDB普通 select 语句默认不加锁(快照读，MYISAM会加锁)，而CUD操作默认加排他锁MySQL InnoDB存储引擎，实现的是基于多版本的并发控制协议——MVCC (Multi-Version Concurrency Control) (注：与MVCC相对的，是基于锁的并发控制，Lock-Based Concurrency Control
转载
2023-11-23 23:30:20
26阅读
MySQL提供了大量不同的数据类型，选择合适的数据类型y有时是决定性能好坏的关键。如下是一些关于更好选择数据类型的建议：选择数据类型的基本原则前提：使用适合存储引擎选择原则：根据选定的存储引擎，确定如何选择合适的数据类型下面的选择方法按存储引擎分类：MyISAM数据存储引擎和数据列：MyISAM数据表，最好使用固定长度(CHAR)的数据列代替可变长度(VARCHAR)的数据列。MEMORY存储引擎
转载
2023-08-26 23:12:11
42阅读
# CDC实时同步MySQL数据库
## 什么是CDC？
CDC（Change Data Capture）是一种用于将数据更改从源数据库捕获并传送到目标数据库的技术。它可以实现实时同步，将源数据库的变更操作应用到目标数据库，以确保两个数据库之间的数据保持一致。
## 为什么需要CDC？
在现代应用程序中，数据的一致性至关重要。当我们有多个数据库实例时，可能需要将数据同步到多个数据库，这就需
原创
2023-08-01 01:47:42
1747阅读
CDC1、何为CDC?数据仓库中捕获变化数据(CDC，Changed Data Capture)CDC能够帮助你识别从上次提取之后发生变化的数据。利用CDC，在对源表进行INSERT、UPDATE或 DELETE等操作的同时就可以提取数据，并且变化的数据被保存在数据库的变化表中。这样就可以捕获发生变化的数据，然后利用数据库视图以一种可控的方式提供给目标系统。（1）侵入式CDC：是指CDC操作会给源
转载
2023-12-12 21:20:26
268阅读
哇，好久没写博客了！前段时间制作了多人交互没有涉及到数据的处理，似乎后面的多人交互要使用到服务器和数据库，好久没用了，在这里把对数据库的使用在捡起来。数据库的安装啥的就不赘叙了，现在开始使用，首先建立一个数据库的连接来管理数据，我这里叫pq：其他基本没有改动，如果修改了主机名和端口连接的时候就得使用修改了的，然后穿件一个数据库：直接在空白处点鼠标右键或者，我这里创建了一个叫mytest的数据库，注
转载
2023-09-24 06:55:29
69阅读
实现MySQL数据库中CDC（Change Data Capture）数据的格式
---
### 概述
在MySQL数据库中，CDC（Change Data Capture）是一种用于捕获和记录数据库中数据变化的技术。通过CDC，我们可以获取到数据库中每一次数据的变更，包括新增、更新和删除操作。本文将介绍实现MySQL数据库中CDC数据的格式的步骤，并提供相关代码示例。
### 步骤
下面
原创
2024-01-24 04:26:26
171阅读
传统的分析方式通常是利用批查询，或将事件（生产上一般是消息）记录下来并基于此形成有限数据集（表）构建应用来完成。为了得到最新数据的计算结果，必须先将它们写入表中并重新执行 SQL 查询，然后将结果写入存储系统比如 MySQL 中，再生成报告。 Apache Flink 同时支持流式及批量分析应用，这就是我们所说的批流一体。Flink 在上述的需求场景中承担了数据的实时采集、实时计算和下游
转载
2023-10-25 04:37:48
79阅读
# 使用 Java 和 MySQL CDC 实现数据同步到 ODPS 数据库
在大数据与云计算迅速发展的今天，数据同步成为了企业数据管理的重要任务。特别是将 MySQL 数据库的数据及时传输到云上的大数据平台，如 ODPS（阿里云的开放数据处理服务）。本文将介绍如何使用 Java 和 MySQL 的变更数据捕获（CDC）技术，将数据实时同步到 ODPS。我们将通过代码示例和图示来详细说明这个过程
# 使用Flink CDC实现实时监控MySQL数据库
随着大数据技术的不断发展，实时数据处理越来越受到重视。Apache Flink是一种强大的流处理框架，支持高吞吐量和低延迟的实时数据处理。本篇文章将重点介绍如何利用Flink CDC（Change Data Capture）实现MySQL数据库的实时监控，包括代码示例和流程图。
## 什么是Flink CDC？
Flink CDC是一种
原创
2024-09-16 05:53:39
273阅读
# MySQL CDC读取多个数据库
## 概述
MySQL CDC（Change Data Capture）是一种用于读取MySQL数据库中变更数据的技术，通过捕获数据库中的变更操作（如插入、更新、删除等），CDC可以将这些变更数据传递给其他系统，如数据仓库、搜索引擎等。本文将介绍如何使用MySQL CDC读取多个数据库的变更数据，并提供相应的代码示例。
## 准备工作
在开始之前，我们
原创
2023-11-30 06:43:03
52阅读
# 使用Flink CDC监控MySQL数据库变更数据
随着数据驱动的时代到来，实时数据流处理技术逐渐成为企业构建现代数据架构的重要组成部分。Apache Flink是一种强大的实时流处理框架，而Flink CDC（Change Data Capture）能够有效地捕捉和监控MySQL等数据库的变更数据。本文将为大家介绍如何使用Flink CDC监控MySQL数据库的变更数据，并提供代码示例。
原创
2024-09-12 07:12:14
212阅读
数据库有三大范式。范式的简介范式的英文名称是Normal Form，它是英国人E.F.Codd（关系数据库的老祖宗）在上个世纪70年代提出关系数据库模型后总结出来的。范式是关系数据库理论的基础，也是我们在设计数据库结构过程中所要遵循的规则和指导方法。目前有迹可寻的共有8种范式，依次是：1NF，2NF，3NF，BCNF，4NF，5NF，DKNF，6NF。通常所用到的只是前三个范式，即：第一范式（1N
转载
2023-10-06 13:10:27
114阅读
oracle12c的CDB与PDBoracle12c的新特性Oracle 12C引入了CDB与PDB的新特性，在ORACLE 12C数据库引入的多租用户环境（Multitenant Environment）中，允许一个数据库容器（CDB）承载多个可插拔数据库（PDB）。CDB全称为Container Database，中文翻译为数据库容器，PDB全称为Pluggable Database，即可插拔
一、数据库概述 1、数据库与文件系统文件系统对比。 数据冗余和不一致性 数据访问 数据格式相对独立 &nb
转载
2023-05-31 13:55:01
258阅读
MySQL(4)三大范式目前关系数据库有六种范式： 第一范式（1NF）、第二范式（2NF）、第三范式（3NF）、巴斯范式（BCNF）、第四范式(4NF）和第五范式（5NF）。 一般来说，数据库只需满足第三范式(3NF）就行了第一范式1NF所谓第一范式是指在关系模式中，每个属性是不可再分的，否则设计成一对多的实体关系。 不满足第一范式不能称之为关系型数据库。 例： “院系信息”由两部分组成，不符合第
转载
2024-04-13 10:45:57
47阅读
## MySQL数据库模式的实现流程
为了帮助刚入行的小白理解如何实现MySQL数据库模式，我将提供以下步骤和相应的代码示例，以及对这些代码的注释说明。
### 步骤1：创建数据库
首先，我们需要创建一个数据库。以下是创建数据库的代码示例及其注释：
```sql
CREATE DATABASE database_name;
```
- `CREATE DATABASE` 是一个SQL语句
原创
2023-07-22 19:22:44
121阅读
