文章目录

  • 前言
  • 1. 对于redo log,binlog这种日志进行的磁盘顺序读写
  • 2. 对于表空间磁盘文件里的数据页进行的磁盘随机读写
  • 3. Linux操作系统的存储系统
  • 4. 数据库服务器使用的RAID存储架构
  • 4.1 RAID存储架构的电池充放电原理
  • 4.2 RAID锂电池充放电导致MYSQL数据库性能抖动的优化
  • 4.3 解决RAID锂电池充放电导致的存储性能抖动的解决方案



前言

redo log用于恢复bufferpool，binlog用户恢复聚簇索引对应的ibd文件

1. 对于redo log,binlog这种日志进行的磁盘顺序读写

id随机排序 mysql mysql顺序写和随机写_linux

  • 在写redo log日志的时候，其实是不停的在一个日志文件末尾追加日志的，这就是磁盘顺序写。
    磁盘顺序写的性能其实是很高的，某种程度上来说，几乎可以跟内存随机读写的性能差不多，尤其是在
  • 数据库里其实也用了os cache机制，就是redo log顺序写磁盘之前，先进入os cache，就是操作系统管理的内存缓存里。

2. 对于表空间磁盘文件里的数据页进行的磁盘随机读写

id随机排序 mysql mysql顺序写和随机写_id随机排序 mysql_02

表空间就是最终存在磁盘的真实数据。

  • 磁盘随机读的性能是比较差的，所以不可能每次更新数据都进行磁盘随机读，必须是读取一个数据页之后放到buffer pool的缓存里去，下次要更新的时候直接更新到buffer pool里的缓存页。
  • 对于磁盘随机读来说，主要关注的性能指标是IOPS和响应延迟
  • IOPS指标实际上对数据库的crud操作的QPS影响非常大的，因为他在某种程度上几乎决定了你每次能执行多少个SQL语句，底层存储的IOPS越高，你的数据库的并发能力就越高。
  • 一般对于核心业务的数据库的生产环境机器规划，我们都是推荐使用SSD固态硬盘，而不是机械硬盘，因为SSD固态硬盘的随机读写并发能力和响应延迟要比机械硬盘好得多，可以大幅度提升数据库的QPS和性能。

3. Linux操作系统的存储系统

  • 不管是mysql执行磁盘随机读写，还是磁盘顺序读写，其实在底层的linux层面，原理基本上是一样的。
  • linux系统分为VFS层，文件系统层，Page Cache缓存层，通用Block层，IO调度层，Block设备驱动层，Block设备层

id随机排序 mysql mysql顺序写和随机写_linux_03

  1. 当mysql发起一次数据页的随机读写，或者redo log日志的顺序读写的时候，实际上会把磁盘IO请求交给Linux操作系统的VFS层：这一次根据你对哪个目录中的文件执行的磁盘IO操作，把IO请求交给具体的文件系统。
  2. 接着文件系统会先在Page Cache这个基于内存的缓存里找你要的数据在不在里面，如果有就基于内存缓存执行读写，如果没有就往下一层走。
  3. 请求交给通用的Block层，这一层会把你对文件的IO请求转换为Block IO请求。IO请求转换为Block IO请求之后，会把这个Block IO请求交给IO调度层，
  4. IO调度层默认使用的是CFQ公平调度算法（该算法的特点是按照I/O请求的地址进行排序，而不是按照先来后到的顺序来进行响应），不过一般建议用deadline IO调度算法(任何一个IO操作都不能一直不停的等待，在指定时间范围内，都必须让他去执行。)
  5. 最后IO完成调度之后，就会决定哪个IO请求先执行，哪个IO请求后执行，此时可以执行的IO请求就会交给Block设备驱动层，然后最后经过驱动把IO请求发送给真正的存储硬件，也就是Block设备层
  6. 然后硬件设备完成了IO读写操作之后，最后就把响应经过上面的层级反向依次返回。

4. 数据库服务器使用的RAID存储架构

  • mysql数据库就是一个软件，底层就是磁盘来存储数据，基于内存来提升数据读写性能。
  • mysql运行过程中，他需要使用CPU，内存，磁盘和网卡这些硬件，但是不能直接使用，都是通过调用操作系统提供的接口，依托于操作系统来使用和运行的，然后linux操作系统负责操作底层的硬件。
  • 一般来说，很多数据库部署在机器上的时候，存储都是搭建的RAID存储架构;在存储层面往往回在机器上搞多块磁盘，然后引入RAID这个技术，RAID:管理机器里的多块磁盘的一种磁盘阵列技术。
  • 当我们往磁盘里写数据的时候，通过RAID技术可以通过我们选择一块磁盘写入，在读取数据的时候，我们也知道从哪块磁盘去读取。RAID还可以实现数据冗余机制。
  • RAID磁盘冗余阵列技术里，可以把你写入的同样一份数据，在两块磁盘上都写入，这样让两块磁盘上的数据一样，作为冗余备份，然后当你一块磁盘坏掉的时候，可以从另一块磁盘读取冗余数据出来，这一切都是RAID技术自动帮你管理的

4.1 RAID存储架构的电池充放电原理

  • 服务器使用多块磁盘组成的RAID阵列的时候，一般会有一个RAID卡，这个RAID卡是带有一个缓存的，这个缓存不是直接用我们的服务器的主内存的那种模式，他是一种类似于内存的SDRAM
  • 我们可以吧RAID的缓存模式设置为write back，这样的话，所有写入到磁盘阵列的数据，先会缓存在RAID卡的缓存中，后续慢慢再写入磁盘阵列里去，这种机制可以大幅度提升我们的数据库磁盘的写性能。
    -
  • 如果突然断电了，或者服务器自己故障了，那么这个RAID卡的缓存里的数据会突然丢失，为了解决这个问题，RAID卡一般都配置有自己独立的锂电池或者电容，如果服务器突然掉电了，RAID卡自己是基于锂电池来供电运行的，然后他赶紧把缓存里的数据写入到阵列中的磁盘上去。
  • 锂电池是存在性能衰减问题的，所以一般来说锂电池都是要配置定时充放电的，也就是说每隔30~90天，就会自动对锂电池充放电一次。锂电池在充放电过程中，RAID的缓存级别会从write back变成write through，我们通过RAID写数据的时候，IO就直接写磁盘了，如果写内存的话，性能是0.1ms这个级别，如果是直接写磁盘，性能就退化到毫秒级了。
  • 这个时候一旦RAID锂电池子自动充放电，往往会导致你的数据库服务器的RAID存储定期的性能出现几十倍的抖动，间接导致你的数据库每隔一段时间就会出现性能几十倍的抖动。

4.2 RAID锂电池充放电导致MYSQL数据库性能抖动的优化

  • RAID 0：没有冗余备份，磁盘坏了就会丢失一部分数据
  • RAID 1：两块磁盘为镜像关系，你写的所有数据，在两块磁盘上面都有，形成了数据冗余。一块磁盘坏了，另一块磁盘上面还有数据；一块磁盘如果压力很大，可以让读请求路由到另外一块磁盘上去，分担压力。
  • RAID 10：RAID 0 + RAID 1
  • 对于RAID 10架构，它必然内部是有一个锂电池，然后这个锂电池默认一段时间进行一次充放电，所以每次充放电的时候，导致RAID写入时不经过缓存，性能会急剧下降，所以我们发现线上数据库每隔一段时间会有一次剧烈的性能抖动，数据库性能下降了10倍。
  • 可以用linux命令查看RAID硬件设备的日志。

4.3 解决RAID锂电池充放电导致的存储性能抖动的解决方案

  • 给RAID卡把锂电池换成电容，佃农是不用频繁充放电，不会导致充放电的性能抖动。单身很容易老化，而且更换困难，一般不用这个
  • 关闭RAID自动充放电；写一个脚本，脚本每隔一段时间自动在晚上凌晨的业务低峰时期，脚本手动触发充放电，这样可以避免业务高峰期的时候RAID自动充放电引起性能抖动。
  • 充放电时不要关闭write back，可以和第二个策略配合起来使用。


参考：

《MYSQL的日志顺序读写，数据文件随机读写以及linux底层原理》