项目背景:现项目主要是做关于机器人的调度系统,涉及到web端、移动端、小程序及服务端和实体机器人端;
迭代背景:设备演示界面需要展示设备当天所有的路径:历史路径+实时路径
记录方向:redis的关键测试点
记录时间:20210118
================================================
项目一直在使用redis中间件,前面也没有接触过redis工具,听说过,以前的项目也使用过redis中间件,但是无相关的权限接触到这块的知识。这次借机会
深入了解一下redis,虽然也初略了学习了一下,redis的搭建、客户端连接工具,相关的操作命令,但是也仅限于此,以为自己已经关于redis已经了解得差不多了。
too young too simple,上次不是介绍过项目组中来了一个大佬吗,在写关于历史路径持久化的的系统的实现的时候有提到中间件:redis、mongodb,在实际测试这块工作的时候
发现了相关的bug,就是关于ttl的设置,项目组的开发关于redis的使用也是非常粗暴的,redis key的ttl全是-1,生存时间为永久,这个是非常可怕的;以前一直没有注意,经过大佬提醒,才后知后觉,
马上立刻提了一个严重级别的bug;
================================================
今日测试之余仔细了解了一下redis,根据网上搜索的redis开发规范整理一下redis的测试点。
1、键值对的设计
2、redis相关命令的使用
3、客户端连接
================================================
1、键值对的设计
当你对一个东西了解不多的时候,你是很难说出与这个东西相关的很多东西;
1.1、key值测试
a、key要具有可读性和可管理性
key只的设置可以按照以业务名(或数据库名)为前缀(防止key冲突),用冒号分隔,比如业务名:表名:id
b、简洁性
保证语义的前提下,控制key的长度,当key较多时,内存占用也不容忽视,例如:
user:{uid}:friends:messages:{mid}简化为u:{uid}:fr:m:{mid}。
不要包含特殊字符
1.2、value设计
a、拒绝bigkey
防止网卡流量、慢查询,string类型控制在10KB以内,hash、list、set、zset元素个数不要超过5000。
反例:一个包含200万个元素的list。
b、非字符串的bigkey,不要使用del删除
非字符串的bigkey,不要使用del删除,使用hscan、sscan、zscan方式渐进式删除,同时要注意防止bigkey过期时间自动
c、选择适合的数据类型
例如:实体类型(要合理控制和使用数据结构内存编码优化配置,例如ziplist,但也要注意节省内存和性能之间的平衡)
1.3、控制key的生命周期
redis不是垃圾桶,建议使用expire设置过期时间(条件允许可以打散过期时间,防止集中过期),不过期的数据重点关注idletime
2、redis相关命令的使用
2.1、O(N)命令关注N的数量
例如hgetall、lrange、smembers、zrange、sinter等并非不能使用,但是需要明确N的值。有遍历的需求可以使用hscan、sscan、zscan代替
2.2、禁用命令
禁止线上使用keys、flushall、flushdb等,通过redis的rename机制禁掉命令,或者使用scan的方式渐进式处理
2.3、合理使用select
redis的多数据库较弱,使用数字进行区分,很多客户端支持较差,同时多业务用多数据库实际还是单线程处理,会有干扰
2.4、使用批量操作提高效率
原生命令:例如mget、mset;
非原生命令:可以使用pipeline提高效率;
但要注意控制一次批量操作的元素个数(例如500以内,实际也和元素字节数有关);
原生命令和非原生的区别:
原生是原子操作,pipeline是非原子操作;pipeline可以打包不同的命令,原生做不到;pipeline需要客户端和服务端同时支持;
2.5、不建议过多使用Redis事务功能
Redis的事务功能较弱(不支持回滚),而且集群版本(自研和官方)要求一次事务操作的key必须在一个slot上(可以使用hashtag功能解决)
2.6、Redis集群版本在使用Lua上有特殊要求
a、所有key都应该由 KEYS 数组来传递,redis.call/pcall 里面调用的redis命令,key的位置,必须是KEYS array,
否则直接返回error,"-ERR bad lua for redis cluster, all the keys that the uses should be passed using the KEYS arrayrn";
b、所有key,必须在1个slot上,否则直接返回error, "-ERR eval/evalsha command keys must in same slotrn"
2.7、monitor命令
必要情况下使用monitor命令时,要注意不要长时间使用
3、客户端连接
3.1、避免多个应用使用一个Redis实例,不相干的业务拆分,公共数据做服务化;
3.2、使用连接池,可以有效控制连接,同时提高效率,标准使用方式;
3.3、熔断功能,高并发下建议客户端添加熔断功能(例如netflix hystrix);
3.4、合理的加密,设置合理的密码,如有必要可以使用SSL加密访问(阿里云Redis支持);
3.5、淘汰策略,根据自身业务类型,选好maxmemory-policy(最大内存淘汰策略),设置好过期时间;
默认策略是volatile-lru,即超过最大内存后,在过期键中使用lru算法进行key的剔除,保证不过期数据不被删除,但是可能会出现OOM问题
该文章非常大的可能是没有用的,但是对于数据量庞大且非常重要的系统来说,redis的测试是必不可少的;虽然redis中间件只属于内部实现逻辑,但开发规范的疏忽可能就是你发现的千奇百怪的bug的根本原因;
=================20230207面试更新的redis相关的测试点==========================================
缓存最重要的两个作用:加快访问速度、减少服务器和db压力。
redis是缓存数据库,可以从以下两个角度来进行测试
2.1、redis功能测试角度
2.1.1. redis数据生效时,读取是否正确
2.1.2. redis数据不存在,能否正常从db中读取到正确的值,并正确写入Redis和返回给上层
2.1.3. 数据在redis和db中都不存在时的表现是否正常
2.1.4. 删除数据时,redis和db的数据是否一致
2.2、性能测试角度
2.2.1.缓存增加/更新功能是否正确,查看缓存数据是否正确
a. 增加相关日志,查看日志
b. 后门接口工具
c. 使用命令行,memcached和reids可以登录后,直接查看
2.2.2.缓存删除
a 缓存有效,验证相关业务功能
b 缓存被删除,验证相关业务功能
c 缓存过期失效,memcached 和redis 可以设置失效时间,查看失效时间有没有,对不对
2.2.3.超量淘汰机制:缓存达到上限怎么处理
2.2.4.缓存穿透
2.2.5.缓存雪崩
2.2.6.redis缓存服务停掉
2.2.7.缓存超时
2.2.8.缓存数据被误修改后,快速恢复到指定版本
2.2.9.缓存数据被误删除后,快速恢复数据
















