拒绝bigkey,防止网卡流量、慢查询、阻塞
如何寻找bigkey?
- redis-cli自带--bigkeys,例如:redis-cli -h -a --bigkeys
- 获取生产Redis的rdb文件,通过rdbtools分析rdb生成csv文件,再导入MySQL或其他数据库中进行分析统计,根据size_in_bytes统计bigkey
- 通过python脚本,迭代scan key,每次scan 1000,对扫描出来的key进行类型判断,例如:string长度大于10K,list长度大于10240认为是big bigkeys
- 其他第三方工具,例如:redis-rdb-cli,地址:https://github.com/leonchen83/redis-rdb-cli
如何优化bigkey?
①string类型控制在10kb以内,hash、list、st、zset元素个数不要超过5000,或者取模的形式拆分成多个小key。
②关键还是在于key一定设置过期时间,不是丢进缓存就不管了。
③删除大key使用unlink异步去删除,不阻塞。
④使用slowlog优化耗时命令
⑤慢查询主要有两个配置项
slowlog-log-slower-than 10000:用于设置慢查询的评定时间,也就是说超过此配置项的命令,将会被当成满操作记录在慢查询日志中,它执行单位是微秒(1秒等于1000000微秒)
slowlog-max-len 128 用来配置慢查询日志的最大记录数,最大上限128。
使用slowlog get n(n是数字)命令来获取相关慢查询日志,再找到这些慢查询对相应的业务进行优化