Checkpoint机制最近在学习MySQL的底层，内容来自于Mysql技术内幕书籍和自己的理解，所以写了一个关于MySQL技术内幕专栏，有兴趣可以看看1.CheckPoint出现的原因之前的博客有讲到当执行DML操作时，如UPDATE,Delete改变了页中的记录，此时的页还没有刷新回磁盘，只是在缓冲池中被修改了。这样的页称为脏页。CheckPoint所做的事情无非就是将缓冲池的脏页刷新回磁盘，
转载
2024-04-24 22:48:54
27阅读
1.丢失更新A事务撤销时，把已经提交的B事务的更新数据覆盖了。 2.脏读脏读发生在一个事务A读取了被另一个事务B修改，但是还未提交的数据。假如B回退，则事务A读取的是无效的数据。 3.不可重复读 指在一个事务A内，多次读同一个数据，但是事务A没有结束时，另外一个事务B则修改了该数据。那么事务A在
转载
2023-12-23 21:29:46
65阅读
0.前言Linux 内核Page Cache 和Buffer Cache 关系及演化历史 一文中讲过Linux 2.4之后将Page Cache和Buffer Cache 进行了融合，在buffer_head 中添加了b_page，很容易就能找到缓存的Page Cache，而buffer_head 的存在就是能够快速确定页中的一个块在磁盘中的地址。Linux内核由于存在page cac
转载
2023-12-27 17:07:51
50阅读
1. mysql都有什么锁MySQL有三种锁的级别：页级、表级、行级。表级锁：开销小，加锁快；不会出现死锁；锁定粒度大，发生锁冲突的概率最高,并发度最低。行级锁：开销大，加锁慢；会出现死锁；锁定粒度最小，发生锁冲突的概率最低,并发度也最高。页面锁：开销和加锁时间界于表锁和行锁之间；会出现死锁；锁定粒度界于表锁和行锁之间，并发度一般算法：next KeyLocks锁，同时锁住记录(数据)，并且锁住记
#mysql 刷脏页 ··· mysql> select @@innodb_flush_neighbors; @@innodb_flus
转载
2021-08-10 11:28:00
965阅读
2评论
InnoDB 刷脏页的控制策略1.InnoDB 刷脏页的控制策略innodb_io_capacity 它会告诉 InnoDB 你的磁盘能力. 这个值建议你设置成磁盘的 IOPS。磁盘的 IOPS 可以通过 fio 这个工具来测试，下面的语句是我用来测试磁盘随机读写的命令：fio -filename=$filename -direct=1 -iodepth 1 -thread -rw=randrw
转载
2024-01-10 19:59:39
41阅读
一、抛砖引玉 一条 SQL 语句，正常执行的时候特别快，但是有时也不知道怎么回事，它就会变得特别慢，并且这样的场景很难复现，它不只随机，而且持续时间还很短。?：1.为什么抖呢？因为MySQL哪个时候可能在刷脏页（flush）。PS：这里就要提到一个概念了：脏页 && 干净页。二、正文开始?：2.什么是脏页？干净页？ 当内存数据页跟磁盘数据页内容不一致的时候，我们称这个内存页为“脏页
转载
2024-02-02 23:14:27
53阅读
当内存数据页跟磁盘数据页内容不一致的时候，我们称这个内存页为“脏页”。内存数据写入到磁盘后，内存和磁盘上的数据页的内容就一致了，称为“干净页”。平时执行很快的更新操作，其实就是在写内存和日志，而 MySQL 偶尔“抖”一下的那个瞬间，可能就是在刷脏页(flush)。那么，什么情况会引发数据库的 flush 过程呢？第一种场景是InnoDB 的 redo log 写满了，这时候系统会停止所有更新操作
转载
2023-11-04 17:01:23
90阅读
innodb_io_capacity描述：此参数用于控制InnoDB引擎刷脏页的速度，数据变更只记录到内存还未写入到磁盘的数据页称为脏页；把内存页数据写入到磁盘的过程，称为刷脏页（flush）。若刷脏页速度太快超过磁盘的IO写入能力，或者磁盘IO能力很高但刷脏页速度设置得太低，都会影响数据库的性能。默认值：200建议值：设置成磁盘的 IOPS，磁盘的 IOPS 可以通过 fio 这个工具来测试，命
转载
2024-01-17 10:18:57
42阅读
一. InnoDB 刷脏页流程InnoDB 在处理更新语句的时候，只做了写日志这一个磁盘操作。这个日志叫作 redo log（重做日志），在 更新内存 并 写完 redo log 后，就返回给客户端，本次更新成功。但实际上，对应的数据没有被更新到磁盘，系统总要找时间把数据写入磁盘，这个写入过程的术语就是 flush。当内存数据页跟磁盘数据页内容不一致的时候，我们称这个内存页为“脏页”。内存数据写入
转载
2023-08-10 11:24:14
267阅读
mysql启动后buffer pool会初始化。buffer pool也会初始化好n多个空白的缓存页，以及它们的描述数据会被组织成lru链表以及freelist 双向链表。这时你从磁盘中读取一个数据页，会先从free list中找出一个空闲缓存页的描述信息，然后将你读出的数据页中加载进缓存页中。同时将缓存页的描述信息从free list中剔除，此外该描述信息块还会被维护进lru链表中。数据页被加载
转载
2024-07-23 09:25:12
32阅读
mysql面试的八股文，持续更新连接器的最大连接数以及调优mysql服务器最大支持max_connect 为 16384根据需求来看，一般2核4G机器填写1000，16核64G填写5000。刷脏页 参数innodb_io_capacity 表示磁盘的io能力，控制了刷脏页的速度innodb_max_dirty_pages_pct 脏页比例阈值，达到这个值就开始刷脏页脏页比例计算 Innodb_bu
转载
2023-11-14 09:36:31
73阅读
为何会有这种情况？这种情况的发生，有可能是MySQL把内存中脏页的数据写入到磁盘中引起的。那么何为脏页？脏页的意思就是内存中的数据页跟磁盘中的数据页内容不一致，这内存中的页就被称为脏页。同理可得，如果内存中的数据页和磁盘中的数据页内容一致，就称为干净页。抖的原因这个可能就发生在把内存中脏页的数据更新到磁盘中数据页数据的过程。这个过程中涉及到redo log这个日志，关于这个redo log的相关文
转载
2024-01-17 10:22:53
27阅读
1、脏写两个事务没提交的状况下，都修改统一条数据，结果一个事务回滚了，把另外一个事务修改的值也撤销了，所谓脏写就是两个事务没提交状态下修改同一个值。示例：事务A和事务B同事在更新一条数据，事务A先把他更新为A值，事务B紧接着就把他更新为B值，如下图所示： 事务A先更新数据值为A，事务B再更新数据值为B，此时事务A突然回滚，回滚为A之前的数据因为事务A回滚数据导致事务B的值也变回了A之前的
转载
2024-01-10 17:31:21
112阅读
我们知道InnoDB采用Write Ahead Log策略来防止宕机数据丢失，即事务提交时，先写重做日志，再修改内存数据页，这样就产生了脏页。既然有重做日志保证数据持久性，查询时也可以直接从缓冲池页中取数据，那为什么还要刷新脏页到磁盘呢？如果重做日志可以无限增大，同时缓冲池足够大，能够缓存所有数据，那么是不需要将缓冲池中的脏页刷新到磁盘。但是，通常会有以下几个问题：服务器内存有限，缓冲池不够用，无
转载
2024-06-06 16:34:37
69阅读
脏页的定义内存中的数据页跟磁盘中的数据页不一致的时候，这些数据页就是脏页需要刷新脏页的场景InnoDB的redo log写满了系统内存不足系统空闲时（不影响性能）MySQL正常关闭过程（不影响性能）刷新脏页的场景分析场景1 - InnoDB的redo log写满了这种情况要尽量避免，出现这种情况的时候，整个系统就不能再接受更新了，所有更新都将被阻塞场景2 - 系统内存不足内存不足是指InnoDB中
转载
2023-11-27 21:45:43
6阅读
场景: 一条SQL语句，正常执行的时候特别快，但是有时不知道怎么回事，就会变得特别慢，并且这样的场景很难复现，不只是随机，而且持续时间还很短。原因: 只要了解WAL机制，就知道InnoDB在处理更新语句的时候，只做了写日志这个磁盘操作，这个日志叫作redo log(重做日志)，在更新内存写完redo log后，就返回更新成功。 所以总需要时间去将内存中的数据写入到磁盘中，这个过程的术语就叫作flu
转载
2023-12-15 11:15:58
0阅读
1、B树和B+树 都是一种平衡的多路查找树B树非叶子和叶子节点都是存储数据+索引，每一个节点都是一个页，每一页的存储空间有限**（16kb）**,页里面相当于有多个节点。B+树的非叶子节点只是存储索引，叶子节点才会存储数据。B+树和B树相比，会更加的矮宽。 B+树高度较低，并且每一页由于不用存储数据信息，可以存较多的索引信息，加大了每页存储节点的数量，减少磁盘IO具体的讲解可以看下图： 这个是聚簇
1、sync_binlogsync_binlog=0，当事务提交之后，MySQL不做fsync之类的磁盘同步指令刷新binlog_cache中的信息到磁盘，而让Filesystem自行决定什么时候来做同步，或者cache满了之后才同步到磁盘。 &n
转载
2023-08-12 22:41:08
67阅读
脏页的定义是内存中和磁盘中的不一致页。那么脏页是如何产生的？在之前的介绍中，我们明白了innodb引擎是如何执行更新操作
原创
2022-11-11 12:10:39
175阅读
