Redis持久化的必要性

首先要明白redis是一个数据库, redis是一个内存数据库, 所有数据基本上都存在于内存当中, 会定时以追加或者快照的方式刷新到硬盘中. 由于redis是一个内存数据库, 所以读取写入的速度是非常快的, 所以经常被用来做数据, 页面等的缓存。

由于Redis的数据都存放在内存中,如果没有配置持久化,redis重启后数据就全丢失了,即便是重启后数据也无法很快恢复，而此时可能会有大量请求找到DB，DB扛不住，也就会出现所谓的“缓存雪崩”问题。

于是需要开启redis的持久化功能,将数据保存到磁盘上,当redis重启后,可以从磁盘中恢复数据。

Redis持久化的两种机制

1、RDB持久化

RDB是将当前数据生成快照保存到硬盘上。

RDB的工作流程：

  •  执行bgsave命令，Redis父进程判断当前是否存在正在执行的子进程，如RDB/AOF子进程，如果存在bgsave命令直接返回。
  • 父进程执行fork操作创建子进程，fork操作过程中父进程被阻塞。（注意：父进程会被阻塞）
  • 父进程fork完成后，bgsave命令返回“* Background saving started by pid xxx”信息，并不再阻塞父进程，可以继续响应其他命令。
  • 父进程创建RDB文件，根据父进程内存生成临时快照文件，完成后对原有文件进行原子替换。根据lastsave命令可以获取最近一次生成RDB的时间，对应info Persistence中的rdb_last_save_time。
  • 进程发送信号给父进程表示完成，父进程更新统计信息。

触发机制：

 （1）手动触发

  • 使用save命令：此命令会使用Redis的主线程进程同步存储，阻塞当前的Redis服务器，造成服务不可用，直到RDB过程完成。无论当前服务器数据量大小，线上不要用。
  • 使用bgsave命令：此命令会通过fork()创建子进程，在后台进程存储。只有fork阶段会阻塞当前Redis服务器，不必到整个RDB过程结束，一般时间很短。因此Redis内部涉及到RDB都采用bgsave命令。这里注意一点，无论RDB还是AOF，由于使用了写时复制，fork出来的子进程不需要拷贝父进程的物理内存空间，但是会复制父进程的空间内存页表。

（2）自动触发

   Redis支持自动触发RDB持久化机制，配置都在redis.conf文件里面，看一下该配置文件中的

save 900 1
save 300 10
save 60 10000
#
stop-writes-on-bgsave-error yes
#
rdbcompression yes
#
rdbchecksum yes
#
dbfilename dump.rdb
#
dir /usr/local/var/db/redis/
  • save m n：代表Redis服务器在m秒内数据存在n次修改时，自动触发rdb。这个参数比较关键。
  • stop-writes-on-bgsave-error：如果是yes，当bgsave命令失败时Redis将停止写入操作。
  • rdbcompression：是否对RDB文件进行压缩，但是在LZF压缩消耗更多CPU
  • rdbchecksum：是否对RDB文件进程校验
  • dbfilename：配置文件名称，默认dump.rdb
  • dir：配置rdb文件存放的路径，这个参数比较重要。

RDB的优缺点：

  • 因为bgsave每次运 行都要执行fork操作创建子进程，属于重量级操作，频繁执行成本过高。所以不适用于实时持久化
  • 但是其数据体量小，执行速度快，适合备份。

2、AOF持久化

AOF以独立日志的方式记录每次写命令，重启时再重新执行AOF文件中的命令来恢复数据。AOF的主要作用 是解决了数据持久化的实时性

AOF的工作流程：

  • 所有的写入命令追加到aof缓冲区
  • AOF缓冲区根据对应appendfsync配置向硬盘做同步操作
  • 定期对AOF文件进行重写
  • Redis重启时，可以加载AOF文件进行数据恢复

触发机制：

（1）手动触发

bgrewriteaof命令：Redis主进程fork子进程来执行AOF重写，这个子进程创建新的AOF文件来存储重写结果，防止影响旧文件。因为fork采用了写时复制机制，子进程不能访问在其被创建出来之后产生的新数据。Redis使用“AOF重写缓冲区”保存这部分新数据，最后父进程将AOF重写缓冲区的数据写入新的AOF文件中，然后使用新AOF文件替换老文件。

（2）自动触发

和RDB一样，配置在redis.conf文件里

appendonly no
#
appendfilename "appendonly.aof"
#
appendfsync everysec
#
no-appendfsync-on-rewrite no
#
auto-aof-rewrite-percentage 100
auto-aof-rewrite-min-size 64mb
#
aof-load-truncated yes
#
aof-use-rdb-preamble no
  • appendonly：是否打开AOF持久化功能
  • appendfilename：AOF文件名称
  • appendfsync：同步频率
  • auto-aof-rewrite-min-size：如果文件大小小于此值不会触发AOF，默认64MB
  • auto-aof-rewrite-percentage：Redis记录最近的一次AOF操作的文件大小，如果当前AOF文件大小增长超过这个百分比则触发一次重写，默认100

这里介绍一下appendfsync参数的可配置值

  • always：命令写入aof缓冲区后，每一次写入都需要同步，直到写入磁盘（阻塞，系统调用fsync）结束后返回。显然和Redis高性能背道而驰，不建议配置
  • everysec：命令写入aof缓冲区后，在写入系统缓冲区直接返回（系统调用write），然后有专门线程每秒执行写入磁盘（阻塞，系统调用fsync）后返回
  • no：命令写入aof缓冲区后，在写入系统缓冲区直接返回（系统调用write）。之后写入磁盘（阻塞，系统调用fsync）的操作由操作系统负责，通常最长30s

打开AOF功能把appendonly值改为yes即可。

AOF优缺点：

  • 对于同一份数据来说，AOF日志文件通常比RDB数据快照文件更大
  • AOF可以更好的保护数据不丢失，一般AOF会每隔1秒，通过一个后台线程执行一次fsync操作，最多丢失1秒钟的数据 如果你要保证一条数据都不丢失，也是可以的，将AOF的fsync设置为没写入一条数据就fsync一次，但是Redis的性能将会大幅度下降。
  • AOF的持久化也可能会造成阻塞。

 

扩展：

AOF重写的流程。

  1. 执行AOF重写请求。
  2.  如果当前进程正在执行bgsave操作，重写命令会等待bgsave执行完后再执行。
  3. 父进程执行fork创建子进程。
  4. fork操作完成后，主进程会继续响应其它命令。所有修改命令依然会写入到aof_buf中，并根据appendfsync策略持久化到AOF文件中。
  5.  因fork操作运用的是写时复制技术，所以子进程只能共享fork操作时的内存数据，对于fork操作后，生成的数据，主进程会单独开辟一块aof_rewrite_buf保存。
  6. 子进程根据内存快照，按照命令合并规则写入到新的AOF文件中。每次批量写入磁盘的数据量由aof-rewrite-incremental-fsync参数控制，默认为32M，避免单次刷盘数据过多造成硬盘阻塞。
  7. 新AOF文件写入完成后，子进程发送信号给父进程，父进程更新统计信息。
  8. 父进程将aof_rewrite_buf（AOF重写缓冲区）的数据写入到新的AOF文件中。
  9. 使用新AOF文件替换老文件，完成AOF重写。
  10. 实际上，当Redis节点执行完一个命令后，它会同时将这个写命令发送到AOF缓冲区和AOF重写缓冲区。