项目背景:现项目主要是做关于机器人的调度系统,涉及到web端、移动端、小程序及服务端和实体机器人端;

迭代背景:设备演示界面需要展示设备当天所有的路径:历史路径+实时路径

记录方向:redis的关键测试点

记录时间:20210118

 

================================================

项目一直在使用redis中间件,前面也没有接触过redis工具,听说过,以前的项目也使用过redis中间件,但是无相关的权限接触到这块的知识。这次借机会

深入了解一下redis,虽然也初略了学习了一下,redis的搭建、客户端连接工具,相关的操作命令,但是也仅限于此,以为自己已经关于redis已经了解得差不多了。

too young too simple,上次不是介绍过项目组中来了一个大佬吗,在写关于历史路径持久化的的系统的实现的时候有提到中间件:redis、mongodb,在实际测试这块工作的时候

发现了相关的bug,就是关于ttl的设置,项目组的开发关于redis的使用也是非常粗暴的,redis key的ttl全是-1,生存时间为永久,这个是非常可怕的;以前一直没有注意,经过大佬提醒,才后知后觉,

马上立刻提了一个严重级别的bug;

================================================

 今日测试之余仔细了解了一下redis,根据网上搜索的redis开发规范整理一下redis的测试点。

1、键值对的设计

2、redis相关命令的使用

3、客户端连接

================================================

1、键值对的设计

当你对一个东西了解不多的时候,你是很难说出与这个东西相关的很多东西;

1.1、key值测试

a、key要具有可读性和可管理性

key只的设置可以按照以业务名(或数据库名)为前缀(防止key冲突),用冒号分隔,比如业务名:表名:id

b、简洁性

保证语义的前提下,控制key的长度,当key较多时,内存占用也不容忽视,例如:
user:{uid}:friends:messages:{mid}简化为u:{uid}:fr:m:{mid}。
不要包含特殊字符

1.2、value设计

a、拒绝bigkey

防止网卡流量、慢查询,string类型控制在10KB以内,hash、list、set、zset元素个数不要超过5000。

反例:一个包含200万个元素的list。

b、非字符串的bigkey,不要使用del删除

非字符串的bigkey,不要使用del删除,使用hscan、sscan、zscan方式渐进式删除,同时要注意防止bigkey过期时间自动

c、选择适合的数据类型

例如:实体类型(要合理控制和使用数据结构内存编码优化配置,例如ziplist,但也要注意节省内存和性能之间的平衡)

1.3、控制key的生命周期

redis不是垃圾桶,建议使用expire设置过期时间(条件允许可以打散过期时间,防止集中过期),不过期的数据重点关注idletime

 

2、redis相关命令的使用

2.1、O(N)命令关注N的数量

例如hgetall、lrange、smembers、zrange、sinter等并非不能使用,但是需要明确N的值。有遍历的需求可以使用hscan、sscan、zscan代替

2.2、禁用命令

禁止线上使用keys、flushall、flushdb等,通过redis的rename机制禁掉命令,或者使用scan的方式渐进式处理

2.3、合理使用select

redis的多数据库较弱,使用数字进行区分,很多客户端支持较差,同时多业务用多数据库实际还是单线程处理,会有干扰

2.4、使用批量操作提高效率

原生命令:例如mget、mset;

非原生命令:可以使用pipeline提高效率;

但要注意控制一次批量操作的元素个数(例如500以内,实际也和元素字节数有关);

原生命令和非原生的区别:
原生是原子操作,pipeline是非原子操作;pipeline可以打包不同的命令,原生做不到;pipeline需要客户端和服务端同时支持;

2.5、不建议过多使用Redis事务功能

Redis的事务功能较弱(不支持回滚),而且集群版本(自研和官方)要求一次事务操作的key必须在一个slot上(可以使用hashtag功能解决)

2.6、Redis集群版本在使用Lua上有特殊要求

a、所有key都应该由 KEYS 数组来传递,redis.call/pcall 里面调用的redis命令,key的位置,必须是KEYS array, 

否则直接返回error,"-ERR bad lua for redis cluster, all the keys that the uses should be passed using the KEYS arrayrn";

b、所有key,必须在1个slot上,否则直接返回error, "-ERR eval/evalsha command keys must in same slotrn"

2.7、monitor命令

必要情况下使用monitor命令时,要注意不要长时间使用

 

3、客户端连接

3.1、避免多个应用使用一个Redis实例,不相干的业务拆分,公共数据做服务化;

3.2、使用连接池,可以有效控制连接,同时提高效率,标准使用方式;

3.3、熔断功能,高并发下建议客户端添加熔断功能(例如netflix hystrix);

3.4、合理的加密,设置合理的密码,如有必要可以使用SSL加密访问(阿里云Redis支持);

3.5、淘汰策略,根据自身业务类型,选好maxmemory-policy(最大内存淘汰策略),设置好过期时间;

默认策略是volatile-lru,即超过最大内存后,在过期键中使用lru算法进行key的剔除,保证不过期数据不被删除,但是可能会出现OOM问题

该文章非常大的可能是没有用的,但是对于数据量庞大且非常重要的系统来说,redis的测试是必不可少的;虽然redis中间件只属于内部实现逻辑,但开发规范的疏忽可能就是你发现的千奇百怪的bug的根本原因;

=================20230207面试更新的redis相关的测试点==========================================

缓存最重要的两个作用:加快访问速度、减少服务器和db压力。
redis是缓存数据库,可以从以下两个角度来进行测试
2.1、redis功能测试角度
2.1.1. redis数据生效时,读取是否正确
2.1.2. redis数据不存在,能否正常从db中读取到正确的值,并正确写入Redis和返回给上层
2.1.3. 数据在redis和db中都不存在时的表现是否正常
2.1.4. 删除数据时,redis和db的数据是否一致
2.2、性能测试角度
2.2.1.缓存增加/更新功能是否正确,查看缓存数据是否正确
a. 增加相关日志,查看日志
b. 后门接口工具
c. 使用命令行,memcached和reids可以登录后,直接查看
2.2.2.缓存删除
a 缓存有效,验证相关业务功能
b 缓存被删除,验证相关业务功能
c 缓存过期失效,memcached 和redis 可以设置失效时间,查看失效时间有没有,对不对
2.2.3.超量淘汰机制:缓存达到上限怎么处理
2.2.4.缓存穿透
2.2.5.缓存雪崩
2.2.6.redis缓存服务停掉
2.2.7.缓存超时
2.2.8.缓存数据被误修改后,快速恢复到指定版本
2.2.9.缓存数据被误删除后,快速恢复数据