RDB概述
RDB是Redis默认的持久化机制,RDB模式下每间隔一定时间,Redis就会将内存中的数据集快照(snapshot)写入到磁盘文件,文件存储路径由dir + dbfilename决定。当redis重启或需要恢复数据时,同样可以根据dir + dbfilename找到对应rdb文件,把快照数据加载进内存。默认有以下三种情况会自动触发RDB操作,此外bgsave、save、flushall(flushdb不会)、shutdown、sync主从复制等命令同样会触发RDB操作。
# RDB持久化策略: save <seconds> <changes>
# 默认有三个触发条件:900秒内有1个key发生变化、300秒内10个key发生变化、60秒内10000个key发生变化。
# 通过save ""或不配置save均可禁用该功能
save 900 1
save 300 10
save 60 10000
# 是否采用LZF算法对快照数据进行压缩存储,默认YES会消耗额外的CPU资源,设为no可节省资源,但是会导致快照比较大。
rdbcompression yes
# 是否对rdb进行数据校验,默认YES且不建议关闭。校验会增加大约10%的性能消耗,如果对性能比较重视,可以设为no
rdbchecksum yes
dbfilename dump6379.rdb
dir ./
对于bgsave,Redis会fork一个新的子进程(父进程的副本)来创建快照,父进程继续处理客户端命令,在子进程创建快照的过程中,如果父进程有新的写入操作,这些操作只能在下次创建快照时再写入,save配置对应的命令就是bgsave 。
对于save,Redis不会产生新的子进程,在执行完快照存储之前会一直阻塞redis,不会响应任何其它命令,除非在没有足够内存执行bgsave,或者阻塞影响不大的情况下才应考虑用save,不然一般都不建议使用。
对于shutdown命令,Redis会执行一个save命令,阻塞所有客户端,不再执行任何的客户端命令,并在执行完save之后关闭服务。在开启了AOF的情况下,在关闭之前会调用fsync()立即把数据写入aof文件中。flushall对应执行的也是save命令,只是会先清空内存中的所有数据,然后再保存。
当Slave服务器连接到Master服务器时,如果Master没有正在执行bgsave而且并非刚刚创建完快照,那么Master就会执行bgsave,具体的主从复制在下篇博客中将作详细说明。
关于触发bgsave的相关源码如下,server结构体位于server.h,触发RDB的源码位于server.c/serverCron()
struct redisServer {
...
/* AOF persistence */
...
int aof_rewrite_perc; /* aof重写的比例条件 */
off_t aof_rewrite_min_size; /* aof重写的大小条件. */
off_t aof_rewrite_base_size; /* 上次重写后aof文件的大小. */
off_t aof_current_size; /* AOF当前大小 */
...
sds aof_buf; /* aof缓冲区 */
...
/* RDB persistence */
long long dirty; /* 上次保存后,数据库被更新次数,包括对值的修改 */
...
struct saveparam *saveparams; /* 触发条件,对应配置的save 900 100等等 */
...
time_t lastsave; /* 上一次执行save/bgsave的时间 */
...
};
/* Redis每秒调用10次serverCron(100毫秒一次),来执行一些需要周期性或及时的检测 */
int serverCron(struct aeEventLoop *eventLoop, long long id, void *clientData) {
......
/* Check if a background saving or AOF rewrite in progress terminated. */
if (server.rdb_child_pid != -1 || server.aof_child_pid != -1 ||
ldbPendingChildren())
{
...
} else {
/* 迭代配置的save参数列表 */
for (j = 0; j < server.saveparamslen; j++) {
struct saveparam *sp = server.saveparams+j;
/* 校验key更新的个数,和最后一次保存至今的时间,满足任意一个条件则执行bgsave */
if (server.dirty >= sp->changes &&
server.unixtime-server.lastsave > sp->seconds &&
(server.unixtime-server.lastbgsave_try >
CONFIG_BGSAVE_RETRY_DELAY ||
server.lastbgsave_status == C_OK))
{
serverLog(LL_NOTICE,"%d changes in %d seconds. Saving...",
sp->changes, (int)sp->seconds);
rdbSaveBackground(server.rdb_filename);
break;
}
}
/* 从这里也可以看出aof重写与rdb不会同时执行 */
/* 校验aof文件的大小及条件,如有必要则重写aof */
if (server.rdb_child_pid == -1 &&
server.aof_child_pid == -1 &&
server.aof_rewrite_perc &&
server.aof_current_size > server.aof_rewrite_min_size)
{
long long base = server.aof_rewrite_base_size ?
server.aof_rewrite_base_size : 1;
long long growth = (server.aof_current_size*100/base) - 100;
if (growth >= server.aof_rewrite_perc) {
serverLog(LL_NOTICE,"Starting automatic rewriting of AOF on %lld%% growth",growth);
rewriteAppendOnlyFileBackground();
}
}
}
......
}
触发源码基本可概括如下:
Redis每100毫秒调用一次serverCron()函数,获取自上次保存至当前时间的时间差,及数据库被更新的次数,如果时间差和次数都匹配其中一个配置的save条件,则执行一次bgsave。
RDB:bgsave与save应用
当redsi存储的数据量只有几个G的时候,一般快照的效率还是可以的,但当Redis的数据量越来大的时候(比如几十上百G),bgsave在生成快照方面花费的时间就会越来越长,一方面是由于bgsave通过复制父进程的方式fork出一个子进程,在这么大数据的情况下,仅这个复制过程可能就会花费好几甚至上十秒;另一方面是由于大量的磁盘读写,而且存在父子进程抢夺资源频繁切换的情况,所以在这种场景下bgsave可能导致系统停顿的时间很长,客户端响应延迟甚至超时。
这种情况下,对于持久化数据导致的停顿,优化空间并不大,但从业务上来说,通过减少bgsave的次数,把bgsave的执行时间设置为客户端请求最少的某个时间点可以降低整体影响,具体做法比如禁用save配置,以脚本的方式指定执行bgsave的时机。这种场景下更建议用save替换bgsave,首先save不会有fork子进程的消耗,就不会有父子进程抢夺资源的情况,所以save整个快照过程会比bgsave要快,而且由于选定的时间点操作的客户端很少,一定的阻塞也是可以接受的。
出于性能及竞争的考虑,Redis不允许同时执行两个bgsave,或同时执行save。(而且bgsave与bgrewriteaof也不会同时执行,bgsave执行期间,对于bgrewriteaof会延迟到bgsave执行完毕之后; bgrewriteaof执行期间会拒绝bgsave命令)
RDB优缺点
优点:适合大规模的数据的保存与恢复,对数据完整性和一致性要求不高的情况下可以采用。
缺点:当系统出现故障的时候,将丢失最后一次快照数据创建之后的数据。比如假设redis在10:00的时候已经创建完了一次快照,在10:30-35之间会开始并执行完第二次快照,如果系统在35之前崩溃导致Redis无法完成快照操作,10:00之后所有的写入数据都会丢失。
AOF概述
由于RDB方式存在丢失最后一次数据的可能性,所以Redis提供了AOF机制来弥补这一问题,AOF以日志形式记录对Redis的所有写操作,当Redis处理一个写操作时,会先将写操作以协议的方式追加到aof_buffer(aof缓冲区中)和写入aof文件中,但并不一定马上同步磁盘文件,而是根据配置的fsync策略决定同步时机。Redis在重启之时通过读取该日志文件重构最新数据。
AOF文件的写入与同步并不是同一概念,写入并不一定就同步了磁盘,在现代操作系统中为了提高写效率,当用户向某个文件中写入数据时,系统通常会先将写入的数据保存在一个内存缓冲区中,当缓冲区满或有其它的触发条件触发的情况下,才会同步到磁盘。这就相当于你打开一个“记事本”,写入文本但实际上并没有立即保存,而是需要你手动执行一下“Ctrl+S”一样。
AOF默认为关闭状态,通过以下配置可以启用、设置aof文件名、持久化时机、重写机制等
appendonly yes
appendfilename "appendonly6379.aof"
# AOF持久化时机(fsync()函数可以通知操作系统立刻向硬盘写数据)
# always: 每次写操作都调用fsync()将缓冲区中数据写入并同步到aof文件中,由于需要同步磁盘,所以这种方式相对缓慢,但安全性要高。
# everysec:每秒执行一次fsync写入aof文件,等待磁盘同步,即能应对较高并发,且只存在丢失最后一秒数据的情况。
# no:不执行fsync,但通知操作系统,由系统在需要的把缓冲区中的数据写入aof中,不等待磁盘同步,所以这种方式是最快的,但安全性却也最差,是否丢失及丢失的数据量无法确定。
appendfsync everysec
# 理解这个参数需要先了解bgrewriteao重写机制,和bgsave类似bgrewriteao会在一个子进程中去进行aof的重写,从而不会阻塞主进程对其它命令的处理。
# 但是由于bgrewriteaof通常都会涉及到大量的磁盘操作,而且持续时间也比较长,当父进程也需要操作磁盘时,两者就可能产生竞争,从而可能导致父进程停顿,这个参数的出现就是为了解决这个问题。
# 设为yes的情况下相当于将appendfsync设置为no,并不会立刻执行磁盘操作,而只是写入了缓冲区,因此这样并不会造成阻塞,但是如果这个时候redis挂掉,就会丢失数据。(在Linux系统中默认最多会丢失30s的数据)
# 默认no的情况下,不会产生丢失,但却有可能阻塞。目前官方建议除非延迟到影响性能的程度,否则应该采用默认no。
no-appendfsync-on-rewrite no
# 这里配置的AOF重写的两个触发条件:1)当文件内容是上一次rewrite后的一倍 2)且文件大小大于64M时触发。
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
# 设置为yes, Redis在加载aof文件时,如果aof文件中的最后一条命令不完整或者有误,redis会自动截取只成功加载前面正确的数据。
# 设置为no,那么Redis将启动失败,这种情况需要手动用redis-check-aof 工具对aof文件进行修复。
aof-load-truncated yes
配置中其实已经说明了触发场景,这里简单的说一下aof文件的生成,在开启了AOF模式的情况下,Redis在启动时会检测是否存在了aof文件(默认为appendonly.aof),如果没有则创建一个新aof文件,否则读取该日志文件重构最新数据。启动之后的写操作会再次追加到原有aof文件中。值得注意的是aof文件是在Redis启动的过程中创建的,在运行过程中Redis不会创建aof文件的,所以如果在启动之后删除了aof文件,那么所有命令都将丢失。
AOF重写原理
由于 AOF以命令方式保存数据,所以很容易导致文件过大,因此Redis提供 了重写机制,当aof文件超过指定的阔值时(或通过bgrewriteaof命令),Redis将fork出一个子进程,由子进程将其内存中的数据以命令的形式保存到一个新的aop文件中,再覆盖掉旧的aof文件。由于重写aof并不会读取旧aof文件中的内容,而是把当前内存中的数据,以命令的形式记录到新的aof文件,所以新的aof文件中只会保留可恢复数据的最小指令集。整个过程其实和bgsave很类似,只是AOF以命令方式存储,而RDB存储的是数据而已。
由于bgrewriteaof会涉及到大量的磁盘操作,而且持续时间一般比较长,在子进程往新aof文件中写入数据的过程中,如果父进程有新的写操作也需要写入到原aof中,就可能产生两个问题:1新的写操作无法被子进程得知;2两者由于竞争I/O可能导致停顿延迟,对了父进程而言由于还要处理其它命令相对来说延迟影响更加大。
为了解决这种情况,Redis为aof的重写也提供了重写缓冲区,以及一个配置no-appendfsync-on-rewrite来控制在rewrite过程中,父进程如何处理写操作。在rewrite过程中,Redis会把写操作同时追加到aof缓冲区和aof重写缓冲区,aof缓冲区中的内容仍会根据fsync同步策略被同步到原aof磁盘文件中,对原有aof文件的处理照常进行。对于重写缓冲区中的数据,在重写完成后子进程会向父进程发送一个信号,父进程接收到该信号后再将aof重写缓冲区中的内容写入新aof文件中,最后重命名新的aof文件覆盖原有aof。(注:重写过程中,对于列表类型的数据,当项多于64个时,会分多次追加SADD或RPUSH等命令)
# 由于bgrewriteaof通常都会涉及到大量的磁盘操作,而且持续时间相对较长,当父子进程同行进行文件操作时将产生I/o竞争,仍然避免不了阻塞,这个参数可以控制rewrite过程中父进程的写行为方式。
# 设为yes的情况下相当于将appendfsync设置为no,并不会立刻执行磁盘操作,而只是写入了缓冲区,因此这样并不会造成阻塞,但是如果这个时候redis挂掉,就会丢失rewrite过程中的所有数据。(在Linux系统中默认最多会丢失30s的数据)
# 默认no的情况下,不会产生丢失,但却有可能阻塞。目前官方建议除非延迟到影响性能的程度,否则应该采用默认no。
no-appendfsync-on-rewrite no
AOF优缺点
优点:数据完整性和一致性很高,通过配置可以控制只存在丢失最后一秒的情况。
据点:由于存储的是命令,所以容易导致日志文件过大,重启恢复时速度也比rdb方式要慢。
RDB与AOF组合使用
共存的情况下,出于数据完整性的考虑,Redis会以aof文件为主,通过加载aof文件来重构数据,如果aof文件出错则启动失败。aof出错的原因有很多种,比如生产过程中突然中断,写到一半网络断了,丢包等导致数据不完整,写入的格式不对等等,这种情况下可以通过redis-check-aof对aof文件进行格式检查即修复(同样dump文件也可以通过redis-check-dump进行修复)。
# 设置为yes, Redis在加载aof文件时,如果aof文件中的最后一条命令不完整或者有误,redis会自动截取只成功加载前面正确的数据。
# 设置为no,那么Redis将启动失败,这种情况需要手动用redis-check-aof 工具对aof文件进行修复。
aof-load-truncated yes
对于RDB,官方认为可以充当一个备份数据库的角色,应对AOF可能存在的潜在Bug,启动失败时可以通过RDB快速重启。
性能建议
使用RDB作为备份库,且建议只需在Slave上执行RDB(一般15分钟备份一次)。
AOF重写后的最后一步(父进程将rewrite过程中产生的新数据写到新文件)造成的阻塞几乎是不可避免的,所以应该尽量减少AOF rewrite的频率,AOF重写的大小阈值64M对于生产环境来说一般远远不够,具体值可以根据并发量和系统环境来确定,基本上很多大型项目都会设置在5G以上。对于数据备份还可以通过Master-Slave来实现数据复制,这样也能减少IO消费,主从复制会在后面的博客中说明。