Redis支持RDB和AOF两种持久化机制,持久化有效的避免因进程退出造成的数据丢失问题,当下次重启时利用之前的持久化文件即可实现数据恢复。

RDB

       RDB持久化是把当前进程数据生成快照保存到硬盘的过程,出发RDB持久化过程分为手动触发和自动触发。

1、手动触发:save、bgsave

      1.1 ·save命令: 阻塞当前Redis服务器, 直到RDB过程完成为止, 对于内存比较大的实例会造成长时间阻塞, 线上环境不建议使用。 运行save命令对应的Redis日志如下:
       * DB saved on disk

      1.2 ·bgsave命令: Redis进程执行fork操作创建子进程, RDB持久化过程由子进程负责, 完成后自动结束。 阻塞只发生在fork阶段, 一般时间很短。 运行bgsave命令对应的Redis日志如下:

       * Background saving started by pid 3151
       * DB saved on disk
       * RDB: 0 MB of memory used by copy-on-write
       * Background saving terminated with success

       bgsave命令运行流程

进程间交互 redis redis-rdb-bgsave进程_父进程

        1) 执行bgsave命令, Redis父进程判断当前是否存在正在执行的子进程, 如RDB/AOF子进程, 如果存在bgsave命令直接返回。
        2) 父进程执行fork操作创建子进程, fork操作过程中父进程会阻塞, 通过info stats命令查看latest_fork_usec选项, 可以获取最近一个fork操作的耗时, 单位为微秒。
        3) 父进程fork完成后, bgsave命令返回“Background saving started”信息并不再阻塞父进程, 可以继续响应其他命令。
        4) 子进程创建RDB文件, 根据父进程内存生成临时快照文件, 完成后对原有文件进行原子替换。 执行lastsave命令可以获取最后一次生成RDB的时间, 对应info统计的rdb_last_save_time选项。
        5) 进程发送信号给父进程表示完成, 父进程更新统计信息, 具体见info Persistence下的rdb_*相关选项。

     1.3 bgsave命令是针对save阻塞问题做的优化。Redis内部所有涉及RDB操作都采用bgsave的方式,而save命令已经废弃。

2、 自动触发RDB的持久化机制

       1) 使用save相关配置, 如“save m n”。 表示m秒内数据集存在n次修改时, 自动触发bgsave。
       2) 如果从节点执行全量复制操作, 主节点自动执行bgsave生成RDB文件并发送给从节点, 更多细节见6.3节介绍的复制原理。
       3) 执行debug reload命令重新加载Redis时, 也会自动触发save操作。
       4) 默认情况下执行shutdown命令时, 如果没有开启AOF持久化功能则自动执行bgsave。

3、 RDB优缺点

        1)RDB的优点:
                ·RDB是一个紧凑压缩的二进制文件, 代表Redis在某个时间点上的数据快照。 非常适用于备份, 全量复制等场景。                 比如每6小时执行bgsave备份,并把RDB文件拷贝到远程机器或者文件系统中(如hdfs) , 用于灾难恢复。
                ·Redis加载RDB恢复数据远远快于AOF的方式。
        2)RDB的缺点:
                ·RDB方式数据没办法做到实时持久化/秒级持久化。 因为bgsave每次运行都要执行fork操作创建子进程, 属于重量级               操作, 频繁执行成本过高。
                ·RDB文件使用特定二进制格式保存, Redis版本演进过程中有多个格式的RDB版本, 存在老版本Redis服务无法兼容                新版RDB格式的问题。针对RDB不适合实时持久化的问题, Redis提供了AOF持久化方式来解决。

AOF

        AOF( append only file) 持久化: 以独立日志的方式记录每次写命令,重启时再重新执行AOF文件中的命令达到恢复数据的目的。解决了实时性持久化的问题,成为Redis持久化的主流方式。

1、使用AOF

        开启AOF功能需要设置配置: appendonly yes, 默认不开启。AOF文件名通过appendfilename配置设置, 默认文件名是appendonly.aof。 保存路径同RDB持久化方式一致, 通过dir配置指定。
       1.1AOF工作流程如下

进程间交互 redis redis-rdb-bgsave进程_持久化_02

        1) 所有的写入命令会追加到aof_buf( 缓冲区) 中。
        2) AOF缓冲区根据对应的策略向硬盘做同步操作。
        3) 随着AOF文件越来越大, 需要定期对AOF文件进行重写, 达到压缩的目的。
        4) 当Redis服务器重启时, 可以加载AOF文件进行数据恢复。

2、命令写入

3、文件同步

        Redis提供了多种AOF缓冲区同步文件策略, 由参数appendfsync控制。

进程间交互 redis redis-rdb-bgsave进程_进程间交互 redis_03

系统调用write和fsync说明:
·write操作会触发延迟写(delayed write) 机制。 Linux在内核提供页缓
冲区用来提高硬盘IO性能。 write操作在写入系统缓冲区后直接返回。 同步硬盘操作依赖于系统调度机制, 例如: 缓冲区页空间写满或达到特定时间周期。 同步文件之前, 如果此时系统故障宕机, 缓冲区内数据将丢失。
·fsync针对单个文件操作(比如AOF文件) , 做强制硬盘同步, fsync将阻塞直到写入硬盘完成后返回, 保证了数据持久化。