内存回收策略
一、删除到达过期时间的键对象
1、删除过期键对象
惰性删除和定时任务删除机制实现过期键的内存回收。
①惰性删除
惰性删除用于当客户端读取带有超时属性的键时, 如果已经超过键设置的过期时间, 会执行删除操作并返回空, 这种策略是出于节省CPU成本考虑, 不需要单独维护TTL链表来处理过期键的删除。 但是单独用这种方式存在内存泄露的问题, 当过期键一直没有访问将无法得到及时删除, 从而导致内存不能及时释放。
②定时任务删除
Redis内部维护一个定时任务, 默认每秒运行10次(通过配置hz控制) 。 定时任务中删除过期键逻辑采用了自适应算法, 根据键的过期比例、 使用快慢两种速率模式回收键。
流程:
1) 定时任务在每个数据库空间随机检查20个键, 当发现过期时删除对应的键。
2) 如果超过检查数25%的键过期, 循环执行回收逻辑直到不足25%或运行超时为止, 慢模式下超时时间为25毫秒。
3) 如果之前回收键逻辑超时, 则在Redis触发内部事件之前再次以快模式运行回收过期键任务, 快模式下超时时间为1毫秒且2秒内只能运行1次。
4) 快慢两种模式内部删除逻辑相同, 只是执行的超时时间不同。
二、内存使用达到maxmemory上限时触发内存溢出控制策略。
当Redis所用内存达到maxmemory上限时会触发相应的溢出控制策略。具体策略受maxmemory-policy参数控制, Redis支持6种策略:
- noeviction: 默认策略, 不会删除任何数据, 拒绝所有写入操作并返回客户端错误信息(error) OOM command not allowed when used memory, 此时Redis只响应读操作。
- volatile-lru: 根据LRU算法删除设置了超时属性(expire) 的键, 直到腾出足够空间为止。 如果没有可删除的键对象, 回退到noeviction策略。
- allkeys-lru: 根据LRU算法删除键, 不管数据有没有设置超时属性,直到腾出足够空间为止。
- allkeys-random: 随机删除所有键, 直到腾出足够空间为止。
- volatile-random: 随机删除过期键, 直到腾出足够空间为止。
- volatile-ttl: 根据键值对象的ttl属性, 删除最近将要过期数据。 如果没有, 回退到noeviction策略。
内存优化
一、缩减键值对象
key长度: 如在设计键时, 在完整描述业务情况下, 键值越短越好。 如user: {uid}: friends: notify: {fid}可以简化为u: {uid}: fs: nt: {fid}。
value长度: ①值对象缩减比较复杂, 常见需求是把业务对象序列化成二进制数组放入Redis。 首先应该在业务上精简业务对象, 去掉不必要的属性避免存储无效数据。 其次在序列化工具选择上, 应该选择更高效的序列化工具来降低字节数组大小。②使用压缩算法压缩存储的数据,如GZIP。