- 干活的是单线程,总体是多线程,因为主线程(也就是干活的线程,执行命令的线程)是单线程的,所以不会阻塞
基础数据类型
写在前面
redis中命令不区分大小写,但是key区分大小写。
对Key的命令
String类型
常用命令
- set key value EX 10 设置10秒过期
- set key value NX 键不存在的时候设置键值
- set key value XX 键存在的时候设置键值
- set key value KEEPTTL 修改key时保留key的过期时间
- incr key 递增数字 incrby key 3 指定增加数
- decr key 递减数字 decrby key 3 指定减少数
对于GET参数:在设置key的新value时,可以把旧的value显示出来
对于KEEPTTL参数:在更新key的value值时,可以续接上改key的过期时间,如果不加该参数,则在更新key的value值时,会自动将该key设置为永久有效。
使用场景
- 点赞数量,收藏商品数量等
- 用户id(单点登录)
List
有序可以重复
常用命令
- lpush key v1 v2 v3 将值从左到右插入,v3是list里面的第一个值。插入的顺序与展示的顺序相反。
- rpush key v1 v2 v3 将值从右往左插入,v1是list里面的第一个值。插入的顺序与展示的顺序相同,怎么插入怎么展示。
- lrange key 0 -1 遍历 key中的数据
- llen key list的长度
- lpop/rpop 从左边/右边(也就是第一个和最后一个元素)弹出来,该元素也被删除。
- lindex key 1 取出list集合里面对应下标
常用命令简介
具体命令演示
应用场景:一个key 多个value 的情况下;也可以做分页
例如微信公众号关注,一个用户关注多个博主:
0、在电商系统中,一个用户关注了多少个商品。
1 大V作者和CSDN发布了文章分别是 11 和 22
2 阳哥关注了他们两个,只要他们发布了新文章,就会安装进我的List
lpush likearticle:id 11 22
3 查看阳哥自己的号订阅的全部文章,类似分页,下面0~10就是一次显示10条
lrange likearticle:id 0 9
Hash
KV模式不变,但V是一个键值对。类似于JAVA中的Map<String,Map<object,Object>>,用于存储结构化数据。
常用命令
- HSET student:001 name 22 添加元素
- hmset student:002 name 19 age 19 score 100 批量添加元素
- hget student:002 name 获取指定元素的值
- hmget student:002 name age 批量获取指定元素的值
- hgetall student:001 获取所有元素的值
- hincrby student:001 age 2 对某一个元素加2
- hincrbyfloat student:001 age 2.5 对某个元素加2.5
- hsetnx student:001 email 1111@qq.com 如果该元素不存在,添加进去,如果存在添加不进去
常用命令简介
具体命令演示
应用场景
新增商品 → hset shopcar:uid1024 334488 1
新增商品 → hset shopcar:uid1024 334477 1
增加商品数量 → hincrby shopcar:uid1024 334477 1
商品总数 → hlen shopcar:uid1024
全部选择 → hgetall shopcar:uid1024
Set
无序不可重复
常用命令
- sadd set2 1 2 3 4 5 6 7 8 9 添加元素
- smembers set2 遍历元素
- sismember set1 2 判断这个元素在不在
- srem set1 21 删除某个元素
- scard set1 返回元素的总数
- srandmember set1 1 随机弹出一个元素,不删除
- spop set1 随机弹出一个元素,并删除
- sdiff set1 set2 求差集
- sunion set1 et2 求并集
- sinter set1 set2 求交集
常用命令简介
常用命令演示
应用场景
1、抽奖
2、微信朋友圈点赞,查看同赞朋友
3、QQ内推可能认识的人
Zset
有序的set。在set基础上,每个val值前加一个score分数值。之前set是k1v1 V2 V3 现在zset是k1 score1 v1 score2 v2
常用命令
- zadd k1 80 v1 90 v2 100 v3 70 v4 添加元素
- zrange k1 0 -1 遍历元素
- zrange k1 0 -1 withscores 遍历元素,并展示分数:分数从小到大
- zrevrange k1 0 -1 遍历元素,分数从大到小
- zrangebyscore k1 70 90 查询70分到90分的元素
- zrangebyscore k1 70 90 withscores limit 0 1 查询70分到90分的元素,并分页展示,只显示一条
- zrangebyscore k1 (70 90 withscores limit 0 1 查询70分到90分的元素,不包括70分,并分页展示,只显示一条
- zscore k1 v1 获取元素的分数
- zcard k1 获取元素的个数
- zrem k1 v5 删除指定元素
- zincrby k1 3 v1 为指定元素增加分数
- zcount k1 70 90 获取指定分数区间的元素数量
- zrank k1 v1 获取元素下标
- zrevrank k1 v2 获取元素逆序下标
- ZMPOP 1 k1 min count 1 从一个key,k1中,弹出一个最小值。redis7.0以后的语法
常用命令简介
常用命令演示
应用场景
排行榜
== 以上是五种经典的数据类型,用于各种项目的数据存储。接下来的是用于统计的数据类型。比如:统计打卡用户量,签到,页面访客量等等。这类的数据类型的特点是:存的进,取的快,多种统计方式==
常见的统计类型
聚合统计
聚合统计也就是交并差集和聚合函数的应用。例如:set类型。
排序统计
- 使用场景:抖音视频最新评论留言的场景,请你设计一个展现列表。考察你的数据结构和设计思路。
- 设计案例和回答思路:以抖音vcr最新的留言评价为案例,所有评论需要两个功:按照时间排序+分页显示
- 能够排序+分页显示的redis数据结构是什么合适?答:List和Zset。两个用哪个,为什么用,为什么不用?
- 如果使用List存储最新评价:
每个商品评价对应一个List集合,这个List包含了对这个商品的所有评论,而且会按照评论时间保存这些评论,每来一个新评论就用LPUSH命令把它插入List的队头。但是,如果在演示第二页前,又产生了一个新评论,第2页的评论不一样了。原因:List是通过元素在List中的位置来排序的,当有一个新元素插入时,原先的元素在List中的位置都后移了一位,原来在第1位的元素现在排在了第2位,当LRANGE读取时,展示给用户的评价页面,应该是展示的那个时刻之前的评论,如果使用List,就会展示实时的最新评论,这样的话就不能完整的分页展示评论。 - 如果使用过Zset存储就不会产生上述问题
因为Zset是通过分数来决定评价的顺序,可以用时间戳表示分数。在用户分页查询评价时,使用zrangebyscore k3 60 90 limit 0 3,会有一个分数区间,也就是时间区间,来固定本次用户查询的所有评论,此时进来新的评论不会进入到该时间区间,给用户展示的评论列表就不会因新评论的加入而发生改变。
二值统计
集合元素的取值就只有0和1两种。例如:打卡签到,1为签到,0为未签到。此时就可以用:bitmap
基数统计
指统计一个集合中不重复的元素的个数。此时就可以用hyperloglog
bitmap
基础描述
基本命令
- setbit sign:u1:2308 0 1 给key值设置元素,并设置元素的状态:0代表没有,1代表有。记录用户这个月的签到
- getbit sign:u1:2308 1 获取给定key的元素的状态。判断这个用户在某一天是否打卡了
- bitcount sign:u1:2308 统计这个key中状态表示:1 的总数量。也就是一个用户该月的日签到数
- type sign:u1:2308 结果是String,说明bitmap的底层是String类型,get命令获取的是元素对应的二进制的ascii编码对应的值
- strlen sign:u1:2308 获取key的字节长度,一个字节是8个比特,一个元素的状态占一个比特,元素超过8个比特会自动扩容
- bitop and result sign:u1:2308 sign:u1:2307 找出该用户连续两个月相同号签到的次数,比如:该用户在7月1号签到了,8月1号也签到了
使用场景:签到统计
签到日历仅展示当月签到数据
签到日历需展示最近连续签到天数
假设当前日期是20210618,且20210616未签到
若20210617已签到且0618未签到,则连续签到天数为1
若20210617已签到且0618已签到,则连续签到天数为2
连续签到天数越多,奖励越大
所有用户均可签到
截至2020年3月31日的12个月,京东年度活跃用户数3.87亿,同比增长24.8%,环比增长超2500万,此外,2020年3月移动端日均活跃用户数同比增长46%假设10%左右的用户参与签到,签到用户也高达3千万。。。。。。o(╥﹏╥)o
解决方案:
①、小厂方法,传统mysql方式
方法正确但是难以落地实现,o(╥﹏╥)o。
签到用户量较小时这么设计能行,但京东这个体量的用户(估算3000W签到用户,一天一条数据,一个月就是9亿数据)
对于京东这样的体量,如果一条签到记录对应着当日用记录,那会很恐怖…
如何解决这个痛点?
1 一条签到记录对应一条记录,会占据越来越大的空间。
2 一个月最多31天,刚好我们的int类型是32位,那这样一个int类型就可以搞定一个月,32位大于31天,当天来了位是1没来就是0。
3 一条数据直接存储一个月的签到记录,不再是存储一天的签到记录。
②、大厂方法,基于Redis的Bitmaps实现签到日历
在签到统计时,每个用户一天的签到用1个bit位就能表示,
一个月(假设是31天)的签到情况用31个bit位就可以,一年的签到也只需要用365个bit位,根本不用太复杂的集合类型
hyperloglog
什么是UV
Unique Visitor,独立访客,一般理解为客户端IP。需要去重考虑。
什么是PV
Page View,页面浏览量。不用去重。
什么是DAU
Daily Active User ,日活跃用户量。登录或者使用了某个产品的用户数(去重复登录的用户)。常用于反映网站、互联网应用或者网络游戏的运营情况
什么是MAU
MonthIy Active User,月活跃用户量。
需求
- 统计某个网站的UV、统计某个文章的UV
- 用户搜索网站关键词的数量
- 统计用户每天搜索不同词条个数
基本描述:去重复统计功能的基数估计算法-就是HyperLogLog
所谓基数:是一种数据集,去重复后的真实个数。用于统计一个集合中不重复的元素个数,就是对集合去重复后剩余元素的计算。
eg:一个数据集:1,2,2,3,4,5。 基数是:1,2,3,4,5
演化
- 去重复统计你先会想到哪些方式?set,bitmap(因为相同的key只能设置一个)
在大数据量的情况下不适合使用set存储,占用内存比较大。
如果数据显较大亿级统计,使用bitmaps会有这个问题。
bitmap是通过用位bit数组来表示各元素是否出现,每个元素对应一位,所需的总内存为N个bit。
基数计数则将每一个元素对应到bit数组中的其中一位,比如bit数组010010101(按照从零开始下标,有的就是1、4、6、8)。
新进入的元素只需要将已经有的bit数组和新加入的元素进行按位或计算就行。这个方式能大大减少内存占用且位操作迅速。
But,假设一个样本案例就是一亿个基数位值数据,一个样本就是一亿
如果要统计1亿个数据的基数位值,大约需要内存100000000/8/1024/1024约等于12M,内存减少占用的效果显著。
这样得到统计一个对象样本的基数值需要12M。
如果统计10000个对象样本(1w个亿级),就需要117.1875G将近120G,可见使用bitmaps还是不适用大数据量下(亿级)的基数计数场景,
但是bitmaps方法是精确计算的。
- 面对亿级的基数计数场景,应该使用什么解决办法?
使用HyperLogLog,HyperLogLog是一种概率算法的实现。
通过牺牲准确率来换取空间,对于不要求绝对准确率的场景下可以使用,因为概率算法不直接存储数据本身,
通过一定的概率统计方法预估基数值,同时保证误差在一定范围内,由于又不储存数据故此可以大大节约内存。 - HyperLogLog使用原理
HyperLogLog只是进行不重复的基数统计,不是集合也不保存数据,只记录数量而不是具体内容。
缺点是:有误差,牺牲准确率来换取空间,误差仅仅只是0.81%左右。在大的数据量面前这个误差可以接受
基础命令
- pfadd k1 1 2 2 3 4 5 6 6 6 6 将所有元素添加到key中,会去重
- pfcount k1 计算指定key中的数量
- pfmerge result k1 k2 将两个key的元素合并到一个key中,并去重
- pfcount result 计算指定key中的数量
实战案例
案例实战总03:天猫网站首页亿级UV的Redis统计方案
需求:UV的统计需要去重,一个用户一天内的多次访问只能算作一次
淘宝、天猫首页的UV,平均每天是1~1.5个亿左右,每天存1.5个亿的IP,访问者来了后,先去查是否存在,不存在加入。
@RestController
@Slf4j
public class HyperLogLogController
{
@Resource
private RedisTemplate redisTemplate;
@ApiOperation("获得IP去重后的首页访问量")
@RequestMapping(value = "/uv",method = RequestMethod.GET)
public long uv()
{
//pfcount
return redisTemplate.opsForHyperLogLog().size("hll");
}
}
@Service
@Slf4j
public class HyperLogLogService
{
@Resource
private RedisTemplate redisTemplate;
/**
* 模拟后台有用户点击首页,每个用户来自不同ip地址
*/
@PostConstruct
public void init()
{
log.info("------模拟后台有用户点击首页,每个用户来自不同ip地址");
new Thread(() -> {
String ip = null;
for (int i = 1; i <=200; i++) {
Random r = new Random();
ip = r.nextInt(256) + "." + r.nextInt(256) + "." + r.nextInt(256) + "." + r.nextInt(256);
Long hll = redisTemplate.opsForHyperLogLog().add("hll", ip);
log.info("ip={},该ip地址访问首页的次数={}",ip,hll);
//暂停几秒钟线程
try { TimeUnit.SECONDS.sleep(3); } catch (InterruptedException e) { e.printStackTrace(); }
}
},"t1").start();
}
}
GEO
需求引入
交友软件中附近的小姐姐、外卖软件中附近的美食店铺、打车软件附近的车辆等等,那这种附近各种形形色色的XXX地址位置选择是如何实现的?
地球上的地理位置是使用二维的经纬度表示,经度范围 (-180, 180],纬度范围 (-90, 90],只要我们确定一个点的经纬度就可以名曲他在地球的位置。
例如滴滴打车,最直观的操作就是实时记录更新各个车的位置,然后当我们要找车时,在数据库中查找距离我们(坐标x0,y0)附近r公里范围内部的车辆
使用如下SQL即可:
select taxi from position where x0-r < x < x0 + r and y0-r < y < y0+r
但是这样会有什么问题呢?
1.查询性能问题,如果并发高,数据量大这种查询是要搞垮数据库的
2.这个查询的是一个矩形访问,而不是以我为中心r公里为半径的圆形访问。
3.精准度的问题,我们知道地球不是平面坐标系,而是一个圆球,这种矩形计算在长距离计算时会有很大误差
是什么
EGO是redis增加了地理位置的处理。
命令简介
- geoadd city 116.403414 39.924092 “故宫” 116.403963 39.915119 “天安门” 往key中添加元素:经度 纬度 位置名称
- geopos city “故宫” “天安门” 获取key指定元素 的经纬度位置信息
- geodist city “天安门” “故宫” m 获取key中指定两个元素的位置距离。距离参数:m 、km 、ft(英尺)
- georadius city 116.418017 39.914402 10 km withdist withcoord count 10 以半径为中心,查找附近的XXX
- 以给定的经纬度为中心, 返回键包含的位置元素当中, 与中心的距离不超过给定最大距离的所有位置元素。
- WITHDIST: 在返回位置元素的同时, 将位置元素与中心之间的距离也一并返回。 距离的单位和用户给定的范围单位保持一致。
- WITHCOORD: 将位置元素的经度和维度也一并返回。
- COUNT 限定返回的记录数。
- georadiusbymember city “天安门” 10 km withdist withcoord count 10 由元素决定中心点,查找给定半径范围的位置。
- geohash city “故宫” “天安门” 获取key指定元素的经纬度的geohash值
底层存储是使用set存储
案例分析
案例实战总04:美团地图位置附近的酒店推送
package com.zzyy.study.controller;
import org.springframework.beans.factory.annotation.Autowired;
import org.springframework.data.geo.Distance;
import org.springframework.data.geo.GeoResults;
import org.springframework.data.geo.Metrics;
import org.springframework.data.geo.Point;
import org.springframework.data.geo.Circle;
import org.springframework.data.redis.connection.RedisGeoCommands;
import org.springframework.data.redis.core.RedisTemplate;
import org.springframework.web.bind.annotation.GetMapping;
import org.springframework.web.bind.annotation.RequestMapping;
import org.springframework.web.bind.annotation.RestController;
import java.util.HashMap;
import java.util.List;
import java.util.Map;
/**
* @auther zzyy
* @create 2020-11-26 16:48
*/
@RestController
public class GeoController
{
public static final String CITY ="city";
@Autowired
private RedisTemplate redisTemplate;
@RequestMapping("/geoadd")
public String geoAdd()
{
Map<String, Point> map= new HashMap<>();
map.put("天安门",new Point(116.403963,39.915119));
map.put("故宫",new Point(116.403414 ,39.924091));
map.put("长城" ,new Point(116.024067,40.362639));
redisTemplate.opsForGeo().add(CITY,map);
return map.toString();
}
@GetMapping(value = "/geopos")
public Point position(String member) {
//获取经纬度坐标
List<Point> list= this.redisTemplate.opsForGeo().position(CITY,member);
return list.get(0);
}
@GetMapping(value = "/geohash")
public String hash(String member) {
//geohash算法生成的base32编码值
List<String> list= this.redisTemplate.opsForGeo().hash(CITY,member);
return list.get(0);
}
@GetMapping(value = "/geodist")
public Distance distance(String member1, String member2) {
Distance distance= this.redisTemplate.opsForGeo().distance(CITY,member1,member2, RedisGeoCommands.DistanceUnit.KILOMETERS);
return distance;
}
/**
* 通过经度,纬度查找附近的
* 北京王府井位置116.418017,39.914402
*/
@GetMapping(value = "/georadius")
public GeoResults radiusByxy() {
//这个坐标是北京王府井位置
Circle circle = new Circle(116.418017, 39.914402, Metrics.KILOMETERS.getMultiplier());
//返回50条
RedisGeoCommands.GeoRadiusCommandArgs args = RedisGeoCommands.GeoRadiusCommandArgs.newGeoRadiusArgs().includeDistance().includeCoordinates().sortAscending().limit(50);
GeoResults<RedisGeoCommands.GeoLocation<String>> geoResults= this.redisTemplate.opsForGeo().radius(CITY,circle, args);
return geoResults;
}
/**
* 通过地方查找附近
*/
@GetMapping(value = "/georadiusByMember")
public GeoResults radiusByMember() {
String member="天安门";
//返回50条
RedisGeoCommands.GeoRadiusCommandArgs args = RedisGeoCommands.GeoRadiusCommandArgs.newGeoRadiusArgs().includeDistance().includeCoordinates().sortAscending().limit(50);
//半径10公里内
Distance distance=new Distance(10, Metrics.KILOMETERS);
GeoResults<RedisGeoCommands.GeoLocation<String>> geoResults= this.redisTemplate.opsForGeo().radius(CITY,member, distance,args);
return geoResults;
}
}