############################################ 声明 ############################################
$key 键值对的key值
$target_key 目标key
$value 键值对的value值
$index 索引
$time 时间(秒)
$num 数值
$start 开始索引
$end 结束索引
$offset 偏移量
$count 个数
$pivot 基准值
$score 分数,作zset排序用
$x 经度
$y 纬度
$name 名称
$unit 距离单位, m-米 km-千米
############################################ 通用 ############################################
# 查看所有key
keys *
# 查看配置
config get *
# 切换数据库(默认16个数据库,使用的是第0个)
select $index
# 清空当前数据库
flushdb
# 清空所有数据库
flushall
# 移动key 到其他数据库
move $key $index
# 设置过期时间
expire $key $time
# 查看key过期时间
ttl $key
# 查看key是否存在
exists $key
# 查看key类型
type $key
# 更改key的名字,如果源key不存在则会报错 (error) ERR no such key,如果目标key已存在则会被覆盖
rename $key $target_key
############################################ String ############################################
# 设置键值对
set $key $value
# 获取值
get $key
# 追加值,如果key存在则追加,不存在则相当于set一个新key
append $key $value
# 查看字符长度
strlen $key
# 指定key的值加1
incr $key
# 指定key的值减1
decr $key
# 指定key的值加指定数值
incrby $key $num
# 指定key的值减指定数值
decrby $key $num
# 截取字符串的指定范围区间 -1可代表直达最末端
getrange $key $start $end
# 将字符串的某个偏移量开始 替换成指定的value,value的长度会替换对应数量的值
setrange $key $offset $value
# 设置指定过期时间的键值对 setex (set with expire)
setex $key $time $value
# *判断一个key是否存在,如果存在则无法set,不存在则可以set (set if not exists),在分布式锁中常使用
setnx $key $value
# 批量设置键值对, (高阶用法存储对象 key为user:{id}:{field} : mset user:1:name porty user:1:age 18)
mset $key1 $value1 $key2 $value2 $key3 $value3...
# 批量获取key
mget $key1 $key2 $key3...
# 批量判断设置,原子性操作,只要有其中一个key存在则所有设置都失败
msetnx $key1 $value1 $key2 $value2
# 组合命令 getset, 先获取值再设置值
getset $key $value
############################################ Lsit ############################################
# list集合的值可以重复、有序
# 所有的list命令以 l 开头的都是从左边进行操作,r开头则从右边进行操作,应用场景 可做栈 ,队列等来使用
# 设置集合,可以将一个或多个值从左/右方插入
lpush/rpush $key $value
# 从左/右方开始弹出值
lpop/rpop $key
# 获取指定区间的值
lrange $key $start $end
# 获取指定下标的值
lindex $key $index
# 查看list的长度
llen $key
# 移除集合中指定数量的某个值 $count为0或者$count比实际存在的还多时代表移除所有$value
lrem $key $count $value
# 截断集合中指定范围的数据
ltrim $key $start $end
# 移除源列表中的最右(最后)一个元素,并把它添加到目标列表的最左(最前),如果目标列表不存在则会创建目标列表
rpoplpush $key $target_key
# 更新列表中指定下标的值,如果 列表key不存在则会报错(error) ERR no such key 列表中对应下标不存在则会报错 (error) ERR index out of range
lset $key $index $value
# 对列表的指定基准值的前方或后方before/after插入值, 如果列表不存在/者空列表/基准值不存在 则插入失败,如果$key的类型不是列表将报错
linsert $key before/after $pivot $value
############################################ Set ############################################
# set集合的值不重复且无序
# 设置单个或多个值,多个值空格符隔开
sadd $key $value
# 获取集合中的所有数据
smembers $key
# 判断集合中是否包含该值
sismember $key $value
# 获取集合的元素数量,不存在或者空则返回0
scard $key
# 移除集合中的单个值或多个值,多个值用空格符隔开
srem $key $value
# 随机挑选指定数量的元素,count, 为正数则至多只能挑选出元素的最大数量,如果为负数则可以重复返回到指定数量,默认count 为1个。
srandmember $key [$count]
# 随机弹出一个或指定数量的元素
spop $key [$count]
# 将源集合中的一个元素移动到目标集合中,如果目标集合不存在则会创建集合
smove $key $target_key $value
# 两个集合求差集/交集/并集
sdiff/sinter/sunion $key1 $key2
# 将两个集合的差集/交集/并集放入目标集合中
sdiffstore/sinterstore/sunionstore $target_key $key1 $key2
############################################ Hash ############################################
# 在set的基础上,增加了一个分值,用作排序使用
# 使用场景:排序,排行 取 Top 10等场景
# 给集合添加带分数的元素/多个元素
zadd $key $score $value
# 通过score从小到大排序获取指定区间的元素 -inf为负无穷 +inf为正无穷,withscores可选。
zrangebyscore $key -inf +inf [withscores]
# 从大到小排序
zrevrange $key $start $end
# 获取指定区间的元素也可以通过zrange
zrange $key $start $end
# 移除集合中的单个元素或多个,多个元素用空格符分隔
zrem $key $value
# 获取集合中的元素个数
zcard $key
# 获取集合中指定分数区间内有多少个元素,
zcount $key $score1 $score2
# 获取元素在集合中的分数
zscore $key $field
############################################ Hash ############################################
# Map集合,key value,这个value本质是个map集合
# hash命令以h开头,使用场景:适合于对象的存储,String更加适合字符串存储
# 设置hash的一个成员值
hset $key $field $value
# 批量设置hash的成员值
hmset $key $field1 $value1 $field2 $value2 ...
# 判断hash中该成员是否存在,不存在时创建才有效
hsetnx $key $field $value
# 获取hash的一个成员值
hget $key $field
# 获取hash的多个成员值
hmget $key $field1 $field2...
# 获取hash中所有的键值对
hgetall $key
# 查看hash下的所有成员field
hkeys $key
# 查看hash下所有成员的值
hvals $key
# 删除hash中指定的单个成员/多个成员,多个成员以空格符分割
hdel $key $field
# 查看hash有多少个成员
hlen $key
# 获取hash中指定成员的值长度
hstrlen $key $field
# 判断hash中某个成员是否存在,存在返回1,不存在返回0
hexists $key $field
# 给hash中的某个成员值增加指定数值,如果是要删减则将num置为负数即可
hincrby $key $field $num
############################################ 三种特殊数据类型 ############################################
############################################ geospatial ############################################
# geospatial地理空间,geo的底层实现原理其实就是zset,可以用各别zset的命令来操作geo,如zrem删除元素
# 添加地理位置,经度 纬度 名称,有效的经度从-180度到180度。有效的纬度从-85.05112878度到85.05112878度。
geoadd $key $x $y $name
# 查看同个key下两个城市之间的距离,默认单位为米(m),可设置 km 表示单位为千米。mi 表示单位为英里。ft 表示单位为英尺
geodist $key $name1 $name2 [$unit]
# 查询key下某城市的经纬度
geopos $key $name
# 返回城市标准的Geohash
geohash $key $name
# 找到某个经纬度的指定半径距离有什么城市,可选项withdist-距离, withcoord-经纬度,count $num-显示个数,asc-顺序 desc-逆序
georadius $key $x $y $num $unit [withdist]
# 以key里面的一个成员(城市)为中心,指定半径内的,可选项同上。如果指定城市不存在则报错(error) ERR could not decode requested zset member
georadiusbymember $key $name $num $unit
############################################ hyperloglog ############################################
# hyperloglog 基数统计算法,从redis 2.8.9版本就更新了该数据结构,hyperloglog有0.8%的错误率,占用的内存空间是固定的12kb
# 使用场景:网页UV(用户访问量-去重)
# 添加key,可设置单个值或多个值
pfadd $key $value1 $value2...
# 获取key里面的元素-不重复
pfcount $key
# 合并两个key,将$key的值合并到$target对象key中,也可以合并多个$key到目标$target中
pfmerge $target $key
############################################ bitmaps ############################################
# bitmaps位图,位存储 ,操作二进制位进行记录只有 0 1 两个状态
# 使用场景:统计活跃人数,统计是否登录,统计打卡!两个状态的都可以使用bitmaps解决
# 声明 此数据结构的$value值只有 0 和 1
# 设置值
setbit $key $offset $value
# 获取key中指定偏移量的value值
getbit $key $offset
# 获取key中指定范围内值为1的数量,默认为全部
bitcount $key [$start $end]
############################################ 事务 ############################################
# redis事务本质:一组命令的集合!一个事务中的所有命令都会被序列化,在事务执行过程中,会按照顺序执行!
# 一次性、顺序性、排他性!执行一系列的命令!
# ----队列 set set set 执行----
# redis事务没有隔离级别的概念!
# 所有命令在事务中(入队中)并没有被执行,只有到了执行命令的时候才会执行。Exec
# redis单条命令保证原子性,但是redis事务不保证原子性
# redis事务:
# 开启事务(multi)-> 命令入队(....)-> 执行事务(exec)
# 开启事务
multi
# 执行
exec
# 放弃事务
discard
# 监控(锁)key是否被修改,如果修改则事务执行失败,实现乐观锁 cas(check-and-set)
watch $key
# 取消监控(解锁)
unwatch
# 事务问题:
# 1.编译型异常:代码有问题,命令错误。当exec执行时,事务中的所有命令都不会执行
# 2.运行时异常:错误的命令不会执行,其他命令不受影响,正常执行
############################################ redis.conf ############################################
# 配置文件
# 配置文件 unit 单位对大小写不敏感! units are case insensitive so 1GB 1Gb 1gB are all the same.
# # # 网络 # # #
# 绑定ip,如果允许所有来源则设置为 0.0.0.0,如果多个来源使用空格符隔开
bind 127.0.0.1
# 保护模式,默认开启
protected-mode yes
# 端口号,默认为6379
port 6379
# # # 通用 # # #
# daemonize默认为no,不是以守护线程的方式运行的,可修改为yes设置
daemonize yes
# 如果以后台的方式运行,就需要指定一个pid进程文件
pidfile /var/run/redis_6379.pid
# Specify the server verbosity level.
# This can be one of:
# debug (a lot of information, useful for development/testing)
# verbose (many rarely useful info, but not a mess like the debug level)
# notice (moderately verbose, what you want in production probably)
# warning (only very important / critical messages are logged)
loglevel notice
# 日志的文件位置名
logfile ""
# 当客户端闲置多长时间后关闭连接,如果指定为0,表示关闭该功能
timeout 0
# 设置数据库的数量,默认数据库为0,可以使用select $index命令在连接上指定数据库id
# $index是从0到‘databases’-1的数目
databases 16
# 是否总是显示logo
always-show-logo yes
# include可以包含其他配置文件,进行组合
include /path/to/local.conf
# # # 快照 # # #
# 持久化,在规定的时间内执行了多少次操作则会持久化到文件 .aof/.rdb
# redis是内存数据库,没有持久化那么数据断电即失
# 900秒内,至少有1个key进行了修改,我们就进行持久化操作
save 900 1
# 300秒内,至少有10个key进行了修改,我们就进行持久化操作
save 300 10
# 60秒内,至少有10000个key进行了修改,我们就进行持久化操作
save 60 10000
# 可以自定义
# 持久化如果出错了,是否还需要继续工作
stop-writes-on-bgsave-error yes
# 是否压缩rdb文件,需要消耗一些CPU资源
rdbcompression yes
# 保存rdb文件的时候,进行错误的校验
rdbchecksum yes
# rdb文件保存的目录
dir ./
# # # REPLICATION 主从复制# # #
# # # SECURITY 安全# # #
# 设置密码,默认没有密码
requirepass 密码
# 设置了密码后需要使用auth 密码进行验证才能进一步操作
auth 密码
# # # CLIENTS 客户端设置# # #
# 客户端最大连接数
maxclients 10000
# # # MEMORY MANAGEMENT 内存 # # #
# 最大内存
maxmemory <bytes>
# 内存到达上限的处理策略
#1、volatile-lru:只对设置了过期时间的key进行LRU(默认值)
#2、allkeys-lru : 删除lru算法的key
#3、volatile-random:随机删除即将过期key
#4、allkeys-random:随机删除
#5、volatile-ttl : 删除即将过期的
#6、noeviction : 永不过期,返回错误
maxmemory-policy noeviction
# # # APPEND ONLY MODE 配置aof # # #
# 默认不开启aof模式,默认使用rdb方式持久化
appendonly no
# 持久化文件的名字
appendfilename "appendonly.aof"
# 每次修改都会sync,消耗性能
# appendfsync always
# 每秒执行一次sync,可能会丢失这1s的数据
appendfsync everysec
# 不执行sync,不同步,这个时候操作系统自己同步数据,速度最快
# appendfsync no
############################################ Redis持久化 ############################################
######################## RDB (Redis Database) ########################
# RDB工作原理
主进程正常工作,fork子进程来IO,不会影响主进程的效率,会先制作一个临时的rdb文件,待持久化结束后会将该临时文件替换原有的rdb文件。
但有可能导致最后一次数据丢失
# 生成RDB文件
1.save命令满足后自动触发RDB规则
2.执行了flushall命令,也会触发RDB规则
3.关闭redis
# 如何恢复RDB文件
1.将RDB文件放置到redis的启动目录,redis启动的时候会自动检查dump.rdb 恢复其中的数据
# 优点
1.适合大规模的数据恢复!
2.对数据的完整性要求不高!
# 缺点
1.需要一定的时间间隔,如果redis意外宕机了,最后一次修改的数据就没有了
2.fork进程的时候会占用一定的内存空间
######################## AOF (Append Only File) ########################
# 将我们所有的操作命令都记录下来,类似history,恢复的时候就把这个文件全部再执行一遍
# aof默认是不开启的,需要手动配置redis.conf文件中的appendonly变量为yes
# 如果aof文件有错误,redis将启动失败,需要使用 redis-check-aof --fix xx.aof 修复这个文件。
# 注意:修复可能导致某些命令会被删除掉
# aof默认采取的记录策略是 1s 记录一次,如果宕机可能导致最后一秒的记录丢失
redis-check-aof --fix xx.aof
# 优点
1.每一次修改都同步,文件的完整性更好
2.每秒同步一次,可能会丢失一秒的数据
3.不开启,从不同步
# 缺点
1.相对于数据文件来说,aof远远大于rdb,修复的速度比rdb慢
2.aof运行效率比rdb慢,所以redis的默认持久化配置是rdb
############################################ 订阅者与发布者 ############################################
######################## 订阅者,读取订阅 ########################
# 订阅渠道
subcribe channel
######################## 发布者,发布订阅 ########################
# 对指定渠道发布信息
publish channel messages
############################################ 主从复制 ############################################
# 主从复制,读写分离。主库负责写,从库负责读,因为大部分时间都是在读取数据(80%)最低配 一主二从
# 主要作用:
1.数据冗余:实现数据的热备份
2.故障恢复:当主节点出现问题事,可由从节点提供服务,实现快速的故障恢复
3.负载均衡:读写分离
4.高可用(集群)基石
# 细节:
1.主机可以写,从机不能写只能读(除非配置replica-read-only no,)。主机中的所有信息和数据,都会自动同步到从机中保存
# 环境配置:只配置从库
# 查看主从信息
info replication
# 修改redis.conf
# 1.端口号
port
# 2.pid进程名字
pidfile
# 3.log日志名字
logfile
# 4.rdb文件名
dbfilename
# 测试:搭建一主二从
# 为redis配置主库,使用命令配置只作用本次redis启动有效,永久有效需要使用配置文件配置 replicaof <masterip> <masterport>
slaveof host port
# 从节点可以使自己变回成为主节点
slaveof no one
# 使用info replication校验redis角色状态
# 复制原理
第一次建立主从,主库会做一次 全量复制 给从节点。往后都是 增量复制。如果从节点服务重启,那么主节点还是会做一次全量复制。
############################################ *sentinel哨兵模式-自动选举老大 ############################################
# failover->故障转移
# 后台监视主机是否故障,如果故障了根据投票数自动将从库转为主库。
# 哨兵模式是一种特殊模式,首先Redis提供了哨兵的命令,哨兵是一个独立的进程,独立运行。
# 原理就是哨兵通过发送命令,等待Redis服务器响应,从而监控运行的多个Redis实例。
# 1.配置哨兵的配置文件sentinel.conf 命令-> sentinel monitor 自定名字 ip 端口 1(这个1是代表 哨兵发现主库宕机后会进行投票选举新主库)
sentinel monitor redis_name host port 1
# 2.启动哨兵 ,使用redis bin目录下的redis-sentinel工具启动哨兵
redis-sentinel sentinel.conf
# 如果主机宕机了,那么哨兵在一段时间后会"随机"选举一个从节点并投票给他,最终哪个从节点的票数最多将成为主机,其他节点将成为该新主机的从机
# 如果原来的主机再次恢复服务,那么他也将成为先主机的从机
# 优点
1.哨兵集群,基于主从复制模式,拥有所有的主从配置优点
2.主从可以切换,故障可以转移,系统的可用性更好
3.哨兵模式就是手动主从升级到自动主从,更加健壮
# 缺点
1.Redis不好在线扩容,集群容量一旦到达上限,在线扩容十分麻烦
2.实现哨兵模式的配置其实是很麻烦的,里面有很多选择,上面只是配置了最基础的配置
# 以下是哨兵模式的全部配置
# 开始
# 哨兵sentinel实例运行的端口 默认26379
port 26379
# 哨兵sentinel的工作目录
dir /tmp
# 哨兵sentinel监控的redis主节点的 ip port
# master-name 可以自己命名的主节点名字 只能由A-z 数字 0-9 字符".-_"组成
# quorum 配置多少个sentinel哨兵统一认为master主节点失联 那么这时客观上认为主节点失联了
# sentinel monitor <master-name> <ip> <host> <quorum>
sentinel monitor mymaster 127.0.0.1 6379 2
# 当在Redis实例中开启了requirepass foobared 授权密码,这样所有连接Redis实例的客户端都要提供密码
# 设置哨兵sentinel 连接主从的密码 注意必须为主从设置的密码一样的验证密码
# sentinel auth-pass <master-name> <password>
sentinel auth-pass mymaster MySUPER--secret-0123passwOrd
# 指定多少毫秒之后,主节点没有应答哨兵sentinel,此时 哨兵主观上认为主节点下线,默认30秒
# sentinel down-after-milliseconds <master-name> <milliseconds>
sentinel down-after-milliseconds mymaster 30000
# 这个配置项指定了在发生failover主从切换时最多可以有多少个slave同时对新的master进行同步
# 这个数字越小,完成failover所需要的的时间就越长,但是如果这个数字越大,就意味着越多的slave因为
# replication而不可用。可以通过将这个值设定为1来保证每次只有一个slave处于不能处理命令请求的状态.
# sentinel parallel-syncs <master-name> <numslaves>
sentinel parallel-syncs mymaster 1
# 故障转移的超时时间failover-timeout可以用在以下这些方面:
# 1.同一个sentinel对同一个master两次failover之间的间隔时间。
# 2.当一个slave从一个错误的master那里同步数据开始计算时间。直到slave被纠正为向正确的master那里同步数据时。
# 3.当想要取消一个正在进行的failover所需要的时间。
# 4.当进行failover时,配置所有slaves指向新的master所需的最大时间。不过,即使过了这个超时,slaves依然会被正确配置为指向master,但是就不按parallel-syncs所配置的规则来了
# 默认三分钟
# sentinel failover-timeout <master-name> <milliseconds>
sentinel failover-timeout mymaster 180000
#配置当某一事件发生时所需要执行的脚本,可以通过脚本来通知管理员,例如当系统运行不正常时发邮件通知相关人员。
#对于脚本的运行结果有以下规则:
#若脚本执行后返回1,那么该脚本稍后将会被再次执行,重复次数目前默认为10#若脚本执行后返回2,或者比2更高的一个返回值,脚本将不会重复执行。
#如果脚本在执行过程中由于收到系统中断信号被终止了,则同返回值为1时的行为相同。
#一个脚本的最大执行时间为60s,如果超过这个时间,脚木将会被一个SIGKILL信号终止,之后重新执行。
#通知型脚本:当sentine1有任何警告级别的事件发生时(比如说redis实例的主观失效和客观失效等等),将会去调用这个脚本,这时这个脚本应该通过邮件,
#SNS等方式去通知系统管理员关于系统不正常运行的信息。调用该脚本时,将传给脚本两个参数,一个是事件的类型,-个是事件的描述。如果sentine1.conf配置文件中配置了这个脚木路径,
#那么必须保证这个脚木存在于这个路径,并且是可执行的,否则sentinel无法正常启动成功。
#通知脚本
#sentinel notification-script <master-name> <script-path>
sentinel notification-script mymaster /var/redis/notify.sh
#客户端重新配置主节点参数脚本
#当一个master由于failover而发生改变时,这个脚本将会被调用,通知相关的客户端关于master地址已经发生改变的信息。#以下参数将会在调用脚本时传给脚本:
# <master-name> <role> <state> <from-ip> <from-port> <to-ip> <to-port>#目前<state>总是“failover”,
#<role>是“1eader”或者"“observer"中的一个。
# 参数 from-ip,from-port,to-ip,to-port是用来和旧的master和新的master(即旧的slave)通信的#这个脚本应该是通用的,能被多次调用,不是针对性的。
# sentinel client-reconfig-script <master-name> <script-path>
sentinel client-reconfig-script mymaster /var/redis/reconfig.sh
# 结束
############################################ *Redis缓存穿透和雪崩 ############################################
# 缓存穿透(查不到)
# 问题:如果用户查询的时候命中redis缓存,那么会直接返回.如果此时redis缓存中并没有数据,那么会去数据库查询,如果数据库也没有。但是用户还一直查询就会一直请求到数据库查询
# 假如用户量多的话会给数据库造成巨大的性能消耗。
# 解决:
1.布隆过滤器
2.返回空对象:即使数据库没有数据也需要给redis缓存添加上一个空对象,这样就可以保护好数据库.
# 缓存击穿(量太大,缓存过期时突然巨大压力瞄准一个点冲向数据库)
#这里需要注意和缓存击穿的区别,缓存击穿,是指一个key非常热点,在不停的扛着大并发,大并发集中对这一个点进行访问,当这个key在失效的瞬间,持续的大并发就穿破缓存,直接请求数据库,就像在一个屏障上凿开了一个洞。
#当某个key在过期的瞬间,有大量的请求并发访问,这类数据一般是热点数据,由于缓存过期,会同时访问数据库来查询最新数据,并且回写缓存,会导使数据库瞬间压力过大。
# 解决:
1.设置热点数据永不过期
从缓存层面来看,没有设置过期时间,所以不会出现热点key过期后的问题
2.加互斥锁
分布式锁∶使用分布式锁,保证对于每个key同时只有一个线程去查询后端服务,其他线程没有获得分布式锁的权限,因此只需要等待即可。这种方式将高并发的压力转移到了分布式锁,因此对分布式锁的考验很大。
# 缓存雪崩
# 缓存雪崩,是指在某一个时间段,缓存集中过期失效。
# 产生雪崩的原因之一,比如在写本文的时候,马上就要到双十二零点,很快就会迎来一波抢购,
# 这波商品时间比较集中的放入了缓存,假设缓存一个小时。那么到了凌晨一点钟的时候,这批商品的缓存就都过期了。
# 而对这批商品的访问查询,都落到了数据库上,对于数据库而言,就会产生周期性的压力波峰。于是所有的请求都会达到存储层,存储层的调用量会暴增,造成存储层也会挂掉的情况.
# 致命问题:
# 其实集中过期,倒不是非常致命,比较致命的缓存雪崩,是缓存服务器某个节点宕机或断网。因为自然形成的缓存雪崩,一定是在某个时间段集中创建缓存,
# 这个时候,数据库也是可以顶住压力的。无非就是对数据库产生周期性的压力而已。而缓存服务节点的宕机,对数据库服务器造成的压力是不可预知的,很有可能瞬间就把教据库压垮。
# 停掉一些服务,保证主要服务可用
# 解决方案
1.redis高可用
这个思想的含义是,既然redis有可能挂掉,那我多增设几台reds ,这样一台挂掉之后其他的还可以继续工作,其实就是搭建的集群。
2.限流降级
这个解决方案的思想是,在缓存失效后,通过加锁或者队列来控制读数据库写缓存的线程数量。比如对某个key只允许一个线程查询数据和写缓存,其他线程等待。
3.数据预热
数据加热的含义就是在正式部署之前,我先把可能的数据先预先访问一遍,这样部分可能大量访问的数据就会加载到缓存中。在即将发生大并发访问前手动触发加载缓存不同的key,设置不同的过期时间,让缓存失效的时间点尽量均匀。