redis内存溢出导致 redis内存溢出策略_数据


在 Redis 中缓冲区是用一块内存空间来暂时存放命令数据，以免出现因为数据和命令处理的速度慢于发送速度而导致的数据丢失和性能问题，而当缓冲区占用的内存超出了设定的上限时，就会出现缓冲区溢出，这篇文章学习一下 Redis 中分别有哪些地方用到了缓冲区，了解其原理之后就可以合理地设置缓冲区了。

1.笔记图

redis内存溢出导致 redis内存溢出策略_写入到a时缓冲区溢出_02

2.和客户端相关的缓冲区

2.1 输入缓冲区

redis内存溢出导致 redis内存溢出策略_Redis_03

  • 输入缓冲区会先把客户端发送的命令暂存起来，Redis 主线程再从中读取命令处理
  • 输入缓冲区溢出：
  • 可能原因：写入了大量的 bigkey，比如短时间内写入了百万级别的集合类型数据，服务端处理请求的速度过慢，如 Redis 主线程出现了间歇性阻塞，无法及时处理正常发送的请求，导致客户端发送的请求在缓冲区越积越多
  • 如何查看：CLIENT LIST 命令
CLIENT LIST
id=4 addr=127.0.0.1:56652 fd=8 name= age=534 idle=0 flags=N db=0 sub=0 psub=0 multi=-1 qbuf=26 qbuf-free=32742 obl=0 oll=0 omem=0 events=r cmd=client user=default

id=5 addr=127.0.0.1:56654 fd=9 name= age=500 idle=19 flags=O db=0 sub=0 psub=0 multi=-1 qbuf=0 qbuf-free=0 obl=0 oll=0 omem=0 events=r cmd=monitor user=default

Tips：cmd 表示客户端最新执行的命令，qbuf 表示输入缓冲区已经使用的大小(单位:字节)，qbuf-free 表示输入缓冲区尚未使用的大小(单位:字节)。

  • 多客户端：
  • 当多个客户端连接占用的内存总量，超过了 Redis 的 maxmemory 配置项时(例如 4GB)，就会触发 Redis 进行数据淘汰
  • 如果使用多个客户端，导致 Redis 内存占用过大，也会导致内存溢出(out-of-memory)问题，进而会引起 Redis 崩溃，给业务应用造成严重影响
  • 应对方法：
  • Redis 的客户端输入缓冲区大小的上限阈值，代码中固定设置为 1GB，无法通过配置设置调大，这个大小对于处理绝大部分客户端的请求已经够用了
  • Redis 并没有提供参数让我们调节客户端输入缓冲区的大小，要避免输入缓冲区溢出，只能从数据命令的发送速度入手，尽量避免客户端写入 bigkey

2.2 输出缓冲区

  • Redis 的输出缓冲区暂存的是 Redis 主线程要返回给客户端的数据，一部分是一个大小为 16KB 固定缓冲空间，用来暂存 OK响应和报错信息，另一部分是一个可以动态增加的缓冲空间，用来暂存大小可变的响应结果
  • 输出缓冲区溢出：
  • 可能原因：
  • 服务端返回大量的 bigkey，bigkey 原本就会占用大量的内存空间，所以服务器端返回的结果包含 bigkey，必然会影响输出缓冲区
  • 执行了 MONITOR 命令：该命令是用来监测 Redis 执行的，MONITOR 的输出结果会持续占用输出缓冲区，并越占越多，最后的结果就是发生溢出
MONITOR
1600617456.437129 [0 127.0.0.1:50487] "COMMAND"
1600617477.289667 [0 127.0.0.1:50487] "info" "memory"
  • 缓冲区大小设置不合理
  • 应对方法：
  • MONITOR 命令主要用在调试环境中，不要在线上生产环境中持续使用 MONITOR 命令，在线上环境中偶尔使用 MONITOR 检查 Redis 的命令执行情况是没问题的
  • 通过 client-output-buffer-limit 配置项，来设置缓冲区的大小，设置缓冲区大小的上限值，设置输出缓冲区持续写入数据的数量上限阈值，和持续写入数据的时间的上限阈值
  • 配置 client-output-buffer-limit normal 0 0 0，其中 normal 表示当前设置的是普通用户，第 1 个 0 设置的是缓冲区大小的限制(0 表示不做限制)，第 2 个 0 表示缓冲区持续写入量限制(0 表示不限制)，第 3 个 0 表示持续写入时间限制(0 表示不限制)
  • 配置 client-output-buffer-limit pubsub 8mb 2mb 60，其中 pubsub 表示当前是对订阅客户端进行设置，8mb 表示输出缓冲区的大小上限为 8MB，超过此值服务器端就会直接关闭客户端的连接，2mb 60 表示如果连续 60 秒内对输出缓冲区的写入量超过 2MB 的话，服务器端也会关闭客户端连接

3.主从集群缓冲区

3.1 复制缓冲区

redis内存溢出导致 redis内存溢出策略_数据_04

  • 主节点上会为每个从节点都维护一个复制缓冲区，来保证主从节点间的数据同步
  • 在全量复制过程中，主节点在向从节点传输 RDB 文件的同时，会继续接收客户端发送的写命令请求
  • 这些命令就会先保存在复制缓冲区中，等 RDB 文件传输完成后，再发送给从节点去执行

3.2 复制缓冲区溢出

  • 如果在全量复制的时，从节点接收和加载 RBD 较慢，同时主节点接收到了大量的写命令，写命令在复制缓冲区中就会越积越多，最终导致溢出
  • 复制缓冲区一旦发生溢出，主从节点也会直接关闭和从节点进行复制操作的连接，导致全量复制失败
  • 可以控制主节点保存的数据量大小，按通常的使用经验，我们会把主节点的数据量控制在 2~4GB，这样可以让全量同步执行得更快些，避免复制缓冲区累计过多命令
  • 可以使用 client-ouput-buffer-limit 配置项，来设置合理的复制缓冲区大小，设置的依据，就是主节点数据量大小，还有主节点的写负载压力和主节点本身的内存大小
  • 配置 config set client-output-buffer-limit slave 512mb 128mb 60，其中 slave 表示该配置是针对复制缓冲区的，512mb 表示将缓冲区大小的上限设置为 512MB，128mb 60 表示如果连续 60 秒内写入的量超过 128MB 的话，也会触发缓冲区溢出

3.3 复制积压缓冲区溢出

  • 增量复制时使用的缓冲区称为复制积压缓冲区
  • 复制积压缓冲区是一个大小有限的环形缓冲区
  • 当主节点把复制积压缓冲区写满后，会覆盖缓冲区中的旧命令数据，如果主从节点还没有同步这些旧命令数据，就会造成主从节点间重新开始执行全量复制
  • 设置 repl_backlog_size 可以设置环形缓冲区大小