一、Mysql事务概念 二、事务的四大特性ACID三、事务的隔离级别实战分析(mysql8.0版本) 四、Mysql脏读幻读不可重复读五、Mysql从数据执行到落盘步骤分析 六、Mysql RedoLog与UndoLog日志导读：本博文先讲解了mysql事务的概念，然后实际操作语句验证了事务的隔离级别，以及幻读、不可重复读等情况加深理解，最后引入了mysql数据落盘的
转载
2024-07-12 12:27:56
38阅读
文章目录前言一、架构图1、MySQL架构图2、InnoDB架构图二、落盘分析1.第一阶段2.第二阶段3.第三阶段4.第四阶段5.第五阶段6.第六阶段三、落盘总结四、崩溃恢复 前言在上一章中我们聊到了事务有四大特性：原子性、一致性、隔离性、持久性。本篇文章就持久性重点聊一下，在高性能MySql一书中，对持久性的定义是：一旦事务提交，则起所做的修改就会永久保存到数据库中，此时即使数据库或系统崩溃，修
转载
2023-09-22 14:44:38
505阅读
# Mysql落盘机制
## 1. 引言
Mysql是一种流行的开源关系型数据库管理系统，被广泛应用于各种应用程序中。在Mysql中，数据的持久性非常重要，因为一旦数据库服务器发生故障或崩溃，我们希望能够将数据恢复到最近的一次稳定状态。为了实现这一点，Mysql采用了一种称为"落盘机制"的方法来确保数据的可靠性和一致性。
本文将详细介绍Mysql的落盘机制，并通过代码示例来说明每个步骤的具体
原创
2023-11-30 06:31:05
178阅读
一条SQL语句，正常执行时候特别快，有时候会突然变得特别慢，而且很难复现，它不只是随机而且持续时间很短。 看上去像数据库抖了一下 – 原因就是MySQL在刷脏页到磁盘。当内存数据页和磁盘数据页内容不一致的时候，这个数据页被称为“脏页”。内存数据写入磁盘后，内存和磁盘的数据页的内容就一致了，称为“干净页”。 不论脏页还是干净页，都存在内存里。触发数据库的刷脏页时机InnoDB的redo log写满了
转载
2023-09-21 10:22:07
156阅读
# Redis AOF落盘策略详解
## 1. 引言
Redis作为一个高性能的键值存储数据库，拥有多种数据持久化策略，其中AOF（Append Only File）是最受欢迎的一种。AOF记录了所有对Redis服务器的写操作，按照顺序追加到文件中，实现了数据的持久化。本文将详细介绍Redis AOF的落盘策略，同时通过代码示例和图表说明其工作原理。
## 2. AOF落盘策略
在Redi
原创
2024-08-11 04:13:28
94阅读
此文为极客时间：MySQL实战45讲的12节的学习笔记一、mysql 的刷盘机制而之前提到过，mysql 使用了 WAL 技术，即更新的时候先更新内存中的数据，然后必要的时候再将内存中的数据刷入磁盘。我们把内存中这些被修改过，跟磁盘中的数据页不一致的数据页称为脏页。其中，有四种情况会触发脏页的刷盘：redo log 可写空间满了。内存满了，需要淘汰的数据页恰好是脏页。系统不繁忙的时候。关闭数据库的
转载
2023-06-22 11:45:48
568阅读
最近一直执迷于mysql的binlog日志刷入磁盘频率的几个参数，一直无法完全理解清楚，今天反复的看官方文档，并且将看到的心得记录一二。先说个概念：数据脏页：当mysql的内存数据页和磁盘的数据不一致的时候，内存的数据，就叫做脏数据，刷盘的过程就是刷脏页。【关于控制binlog刷入磁盘的参数】1.sync-binlog：控制binlog刷入磁盘的频率default vaule：10：禁止MySQL
转载
2023-08-21 17:23:48
131阅读
# MySQL 落盘策略设置详解
在数据库的日常使用中，数据的持久化至关重要。MySQL作为一个流行的关系型数据库管理系统，其数据落盘策略直接关系到数据的安全性和性能。本文将深入探讨MySQL的落盘策略设置，包括其基本概念、相关参数的配置，并提供相应的代码示例。
## 一、什么是落盘策略
落盘策略主要指的是数据库如何将内存中的数据刷新到磁盘中。这一过程可以确保在系统崩溃或电源故障时，数据不会
原创
2024-09-09 07:45:56
101阅读
# MySQL 数据页落盘详解
## 引言
在现代数据库系统中，MySQL 作为一个广泛使用的开源数据库，在数据管理方面提供了高效的机制。本文将深入探讨 MySQL 数据页的“落盘”过程，了解其背后的原理，并通过代码示例帮助我们更好的理解。
## 什么是数据页？
在 MySQL 中，数据被组织为“页”（page），通常每页尺寸为 16KB。每个页面可以存储多行记录，而数据库的读写操作通常都
原创
2024-10-23 04:18:52
59阅读
文章目录一、MyBatis的延迟加载1、使用 assocation 实现延迟加载2、使用 Collection 实现延迟加载二、MyBatis缓存1、Mybatis中的一级缓存2、Mybatis中的二级缓存三、Mybatis的注解开发1、mybatis 的常用注解说明2、使用 Mybatis 注解实现基本 CRUD 一、MyBatis的延迟加载延迟加载：就是在需要用到数据时才进行加载，不需要用到
转载
2024-10-16 14:00:07
53阅读
什么是生产端的可靠性投递？保障消息的成功发出。保障MQ节点的成功接收。发送端收到MQ节点（Broker）确认应答。完善的消息进行补偿机制。互联网大厂的解决方案：消息落库，对消息状态进行打标。消息的延迟投递，做二次确认，回调检查。1.生产端-可靠性投递：消息落库，对消息进行打标Step1：业务数据落库（BIZ DB）（如订单数据），消息落库（MSG DB）。Step2：分布式定时任务查询待发送消息发
转载
2024-06-05 10:38:17
45阅读
Redis为什么慢了文件系统AOF模式AOF持久化模式主要注重点有两个，第一追加日志写入文件的时机也就是写回策略，第二个就是AOF文件的重写操作。日志追加写入一般分为两个步骤Redis执行写命令后，将这个命令写入到文件内存中，系统调用write完成。Redis根据不同的刷盘时机，将内存中的数据刷到磁盘，系统调用fsync完成。不同的刷盘时机其实就是写回策略有三种no：主线程每次写入到内存中就返回，
转载
2024-04-09 10:35:14
61阅读
一、 redis的编译安装1、依赖的系统包yum install -y wget gcc make tcl2、下载包地址1、各个版本redis的下载地址
http://download.redis.io/releases/
2、本文安装最新版本4.0.9
wget http://download.redis.io/releases/redis-4.0.9.tar.gz3、编译安装1、解压：tar
转载
2023-08-07 23:36:58
951阅读
概述redis是一个缓存数据库，数据通常存放在内存中，以此做到快速读写功能。这样做的弊端就是每次机器重启或者掉线数据都会消失。通常为了解决内存数据再下次重启消失问题，主要方式就是把数据持久化到磁盘中，每次启动的时候就是磁盘数据载入内存，redis也是支持这种模式。持久化方式redis持久化数据到磁盘主要有两种方式：RDB和AOF。RDB方式是根据策略（配置文件）定时把数据持久化到磁盘；AOF方式是
转载
2024-05-31 16:48:22
315阅读
Redis持久化 redis所有数据全部存在内存中，如果突然宕机了，数据就会全部丢失，那么数据必须要持久化到磁盘中。那redis提供了几种持久化机制呢？ redis根据实际业务情况分为二种持久化机制。一种是rdb快照，另外一种是AOF文件RDB快照 rdb快照是一种全量数据备份机制。每次备份数据都是全部内存的数据持久化到磁盘上。大家知道redis是单进程，单线程的程序。这个线程既要负责多个客户端s
转载
2024-06-30 17:25:30
47阅读
sparkshuffle1.绪论0.8版本之前是 hashbasedshufflewrite0.8到1.2是 优化的hashbasedshuffle1.3开始时sortbasedshuffle1.1 基础shuffle载入shuffle时其实数据会自动调用 persist方法落盘，有两方面原因。数据中途丢失的话，因为rdd机制。所有数据需要从第一个依赖开始计算如果数据链过长，一直占用内存可能会oo
转载
2023-12-14 12:46:14
155阅读
目录一、拉取镜像二、查看镜像三、创建文件目录四、修改redis.conf的配置 根据个人需要修改五、docker启动redis命令六、解决动态分配空间内核不支持的问题 docker pull redis #后面可以带上tag号, 默认拉取最新版本 docker pull redis:7.0.3二、查看镜像docker images三、创建文件目录/opt/docker/re
转载
2023-11-14 09:24:47
77阅读
数据落盘
原创
2023-03-15 17:23:57
721阅读
作者：吴业亮 一、IO落盘原理一个I/O请求，从应用层到底层块设备，路径如下图所示：从上图可以看出IO路径是很复杂的。我们将IO路径简化一下：一个I/O请求进入block layer之后，可能会经历下面的过程： • Remap: 可能被DM(Device Mapper)或MD(Multiple Device, Software RAID) remap到其它设备• Split: 可能会因为I/O请求
2.4 RDD 持久化2.4.1 RDD 的缓存 Spark 速度非常快的原因之一，就是在不同操作中可以在内存中持久化或缓存个数据集。当持久化某个 RDD 后，每一个节点都将把计算的分片结果保存在内存中，并在对此 RDD 或衍生出的 RDD 进行的其他动作中重用。这使得后续的动作变得更加迅速。RDD 相关的持久化和缓存，是 Spark 最重要的特征之一。可以说，缓存是 Spark 构建迭代式算法
