springboot整合redis实现HyperLogLog统计文章浏览量&&使用过期策略完成数据库同步
本文目录
- springboot整合redis实现HyperLogLog统计文章浏览量&&使用过期策略完成数据库同步
- 1、为什么选择Redis中的Hyperloglog存储
- 2、什么是基数
- 3、实战中使用HyperLogLog统计文章浏览量
- 1、搭建环境
- 2、核心代码
- 1、发送消息
- 2、消息接受者
- 3、消息处理
- 4、监听key过期并写入数据库
- 创建监听类
- 定时任务
1、为什么选择Redis中的Hyperloglog存储
Redis HyperLogLog是用来做基数统计的算法,HyperLogLog的优点是,在输入元素的数量或者体积非常大时,计算基数所需的空间总是固定的,并且是很小的
在Redis里面,每个HyperLogLog键只需花费12KB内存,就可以计算出接近2^64个不同元素的基数,这和计算基数时,元素越多耗费内存就越多的集合形成鲜明对比;比如说文章浏览量的统计,我们需要将文章的唯一标识主键作为key,将用户访问ip作为value,而且为防止同一用户同一时刻多次访问该文章,我们可以使用redis中的set做到去重,在redis的中结果会是这样的
虽然我们可以通过redis key过期策略定时将过期的key数据写入数据库中,但是在短时间内访问量大的需求下存储这些ip地址仍需要耗费大量的内存
但是,如果使用HyperLogLog完全不用担心这个问题,因为HyperLogLog只会根据输入元素来计算基数,而不会存储输入元素本身,所以HyperLogLog是不能够拿到key返回各个元素的值的,不过这刚好符合我们文章浏览量统计的场景:ip去重(防止同一用户在一段时间间隔内频繁访问同一篇文章),数据量再大也不会耗费多余的内存(12KB)
HyperLogLog使用起来是这个样子的
通过可视化界面查看保存的value可以发现value并没有存储ip地址,也就意味着无法通过key去获取ip地址
HyperLogLog采用的是基数统计,那什么是基数呢
2、什么是基数
比如数据集 {1, 3, 5, 7, 5, 7, 8}, 那么这个数据集的基数集为 {1, 3, 5 ,7, 8}, 基数(不重复元素)为5。 基数估计就是在误差可接受的范围内,快速计算基数。
3、实战中使用HyperLogLog统计文章浏览量
1、搭建环境
添加依赖:
<dependency>
<groupId>org.springframework.boot</groupId>
<artifactId>spring-boot-starter-data-redis</artifactId>
</dependency>
<!--工具类 用来做JSON与实体间的相互转换-->
<dependency>
<groupId>cn.hutool</groupId>
<artifactId>hutool-all</artifactId>
<version>5.7.17</version>
</dependency>
配置:
spring:
redis:
host: 192.168.137.7
2、核心代码
既然是统计文章浏览量,那么应该是在展示文章详情的时候去给文章浏览量+1,而为了不影响原来查询文章详情的响应速度,我们采用rabbitmq做异步,因mq不是本文的介绍重点,有需要的小伙伴可以移步
SpringBoot整合RabbitMQ 5种模式的注解绑定
1、发送消息
下面的代码中,需要传入HttpServletRequest去获取请求的ip地址,还有文章的id,将这两个参数封装成map并转化为JSON字符串格式传递
/**
* 异步处理文章浏览量自增
*
* @param request
* @param article
*/
private void handleArticlePageViewIncrement(HttpServletRequest request, Article article) {
// 封装map并转化为Json格式
HashMap<String, Object> map = new HashMap<>();
String ipAddr = IpUtils.getIpAddr(request);
// 此处的key应该换成静态常量才比较规范
map.put("ip", ipAddr);
map.put("articleid", article.getId());
// mq采用的是direct模式
rabbitTemplate.convertAndSend(ARTICLE_EXCHANGE, ARTICLE_PAGEVIEW_ROUTING, JSONUtil.toJsonStr(map));
}
2、消息接受者
添加监听浏览量自增的消息接受者
/**
* 监听文章浏览量自增
* @param mapStr
*/
@Override
@RabbitListener(bindings = @QueueBinding(
value = @Queue(name = ARTICLE_PAGEVIEW_QUEUE),
exchange = @Exchange(name = ARTICLE_EXCHANGE, type = ExchangeTypes.DIRECT),
key = ARTICLE_PAGEVIEW_ROUTING
))
public void addArticlePageview(String mapStr) {
redisService.articlePageviewIncrement(mapStr);
}
3、消息处理
将拿去到的JSON字符串转换为Map实体
在下面代码中重复添加了2次缓存,这是为了监听key过期时还能过拿取到数据
/**
* 文章浏览量自增
*
* @param mapStr
*/
@Override
public void articlePageviewIncrement(String mapStr) {
Map map = JSONUtil.toBean(mapStr, Map.class);
String ipAddr = map.get("ip").toString();
String articleid = map.get("articleid").toString();
if (ObjectUtil.hasEmpty(ipAddr, articleid)) {
log.error("ip地址或者文章id为空!");
return;
}
String key = ARTICLE_ID_KEY + articleid;
String key_copy = PREFIX + ARTICLE_ID_KEY + articleid;
// 添加2次缓存
Long status = stringRedisTemplate.opsForHyperLogLog().add(key, ipAddr);
// 设置过期时间
stringRedisTemplate.expire(key, 1, TimeUnit.HOURS);
stringRedisTemplate.opsForHyperLogLog().add(key_copy, ipAddr);
if (status == 0) {
log.info("该ip地址:{}重复访问文章id:{}", ipAddr, articleid);
}
}
4、监听key过期并写入数据库
修改redis.conf开启key过期监听 notify-keyspace-events " " 修改为 notify-keyspace-events Ex 这样redis就支持过期key的监听了
创建监听类
@Component
public class KeyExpiredListener extends KeyExpirationEventMessageListener {
@Autowired
private StringRedisTemplate stringRedisTemplate;
@Autowired
private ArticleService articleService;
public KeyExpiredListener(RedisMessageListenerContainer listenerContainer) {
super(listenerContainer);
}
@Override
public void onMessage(Message message, byte[] pattern) {
String expirekey = message.toString();
Long size = stringRedisTemplate.opsForHyperLogLog().size(PREFIX + expirekey);
stringRedisTemplate.delete(PREFIX + expirekey);
if (expirekey.startsWith(PREFIX + expirekey)) {
String articleid = expirekey.substring(ARTICLE_ID_KEY.length());
articleService.updateArticlePageview(articleid, size);
}
}
}
定时任务
在监听类中对过期的key的数据写入数据库,为了确保数据的稳定性,防止有key不断被延长过期时间,选择在每天的早上2点将数据写入数据库
/**
* 定时更新文章浏览量
*/
@Override
@Scheduled(cron = "0 0 2 * * ?") // 每天2:00更新
public void scheduledUpdatePageview() {
log.error("检查是否更新文章");
Set<String> keys = stringRedisTemplate.keys(PREFIX + ARTICLE_ID_KEY + "*");
for (String key : keys) {
// 获取文章id
String articleid = key.substring(PREFIX.length() + ARTICLE_ID_KEY.length());
log.error("更新文章:{}", articleid);
// 获取文章浏览量
Long size = stringRedisTemplate.opsForHyperLogLog().size(key);
// 更新成功删除key
if (articleService.updateArticlePageview(articleid, size)) {
stringRedisTemplate.delete(key);
stringRedisTemplate.delete(key.substring(PREFIX.length()));
}
}
}
如果你对本文有什么疑问,欢迎评论留言