WAL机制概述
WAL(Write-ahead logging)预写式日志, 为数据库系统提供原子性和持久化的一些列操作, 几乎在所有非内存数据库都会使用. WAL机制不仅可以提升写性能, 还可以保证数据可靠性.
WAL关键点在于先写日志再写磁盘。 在数据写入之前首先顺序写入日志,然后再写入缓存,等到缓存写满之后统一落盘。
在对数据页进行修改时, 通过将"修改了什么"这个操作记录在日志中, 而不必马上将更改内容刷新到磁盘上, 从而将随机写转换为顺序写, 提高了性能. 但由此带来内存数据与磁盘数据不一致的问题, 详细内容参见:[MySQL WAL(Write-Ahead Log)机制及脏页刷新](
)
同时WAL可以保证数据的可靠性,即使所有缓存中的数据丢失,也可以通过恢复日志还原出丢失的数据。
HBase中的WAL机制
HBase的RegionServer在处理数据插入和删除的过程中, 会使用WAL预写日志, 数据会先数据会先写在一个叫做Write-Ahead logfile的文件中, 当WAL日志写成功以后,客户端会被告知提交数据成功, 而不是等到数据最终由memtore刷到磁盘上后才告知。另外在系统出现故障的时候,数据可以通过这个日志文件重建。
一个RegionServer上的所有Region共享一个WAL实例。WAL的实现类是HLog,当一个Region被初始化的时候,一个HLog的实例会作为构造函数的参数传进去。
每间隔hbase.regionserver.optionallogflushinterval(默认1s), HBase会把操作从内存写入WAL。
WAL的检查间隔由hbase.regionserver.logroll.period定义,默认值为1小时。检查的内容是把当前WAL中的操作跟实际持久化到HDFS上的操作比较,看哪些操作已经被持久化了,被持久化的操作就会被移动到.oldlogs文件夹内(这个文件夹也是在HDFS上的)。一个WAL实例包含有多个WAL文件。WAL文件的最大数量通过hbase.regionserver.maxlogs(默认是32)参数来定义。
参考
[MySQL WAL(Write-Ahead Log)机制及脏页刷新](
)