如果说Insert buffer带给innodb存储引擎的是性能上的提升,那么double write带给innodb 存储引擎的是数据页的可靠性。

当发生数据库宕机时候,innodb存储引擎可能正在写入某个页到列表中,而这个页只写了一部分,比如16K的页,只写了4K,之后就发生了宕机,这种情况下部分写失效(partial page write)。之前未使用double write技术之前曾经发生过部分写失效而导致数据丢失情况。

如果发生页写失效,是否可以通过重做日志来进行恢复,这是一个办法,但是重做日志记录的是对页的物理操作,比如是偏移量800 写‘aaaa’记录,它并不是页的副本,如果页本事是损坏了的,那重做日志页没有意义,这就是说在应用重做日志之前,用户需要一个页的副本,当写入失效发生时,先通过页的副本来还原该页,在进行重做,这就是double write

mysql被指定两次 mysql二次写_Hadoop

double write由两部分组成,一部分是内存中的double write buffer,大小为2M,另一部分是物理磁盘上共享表空间中连续的128个页,即2个区 (extent),大小同样是2M,在对缓冲池中的脏页进行刷新时,并不直接写硬盘,而是会通过memory函数先将脏页复制到内存中的double write buffer,之后通过double write再分两次,每次1M的写入共享表空间的物理磁盘上,然后马上调用fsync函数,同步磁盘,避免缓冲写带来的问题,在这个过程中因为double write是连续的,因此这个过程也是顺序写的,开销并不是很大,在完成double write页的写入后,在将double write buffer中的页写入到各个表空间文件中,此时的写入则是离散的,可以通过指令来查看 double write运行情况:

show global status like 'innodb_dblwr%';

mysql被指定两次 mysql二次写_Data_02

innodb_dblwr_writes 是写的次数,另一个是写的页数,如果这两个比例是64:1则说明该系统写入压力比较大,如果远小于64:1则说明该系统写入压力并不大。

如果操作系统在将页写入磁盘过程中发生了崩溃,在恢复过程中,innodb存储引擎可以从共享表空间中的double write中找到该页的一个副本,并将其复制到表空间文件中,再应用重做日志。

我们使用参数skip_innodb_doublewrite可以禁用double write功能,这时可能发生前面提及的写失效问题,不过如果用户有多个从服务器,需要提供较快的性能,或许可以启用该参数,不过对于需要提供数据高可靠性的服务器任何时候都要开启该功能