缓存的收益和成本

1、缓存带来的回报

高速读写:缓存加速读写速度:CPU L1/L2/L3 Cache、Linux page Cache加速硬盘读写、浏览器缓存、Ehcache缓存数据库结果

降低后端负载:后端服务器通过前端缓存降低负载: 业务端使用Redis降低后端MySQL负载等

2、缓存带来的代价

数据不一致:缓存层和数据层有时间窗口不一致,和更新策略有关    

代码维护成本:原本只需要读写MySQL就能实现功能,但加入了缓存之后就要去维护缓存的数据,增加了代码复杂度。

堆内缓存可能带来内存溢出的风险影响用户进程,如ehCache、loadingCache:

堆内缓存是由jvm分配的缓存

  • jvm运行时数据区:堆、java虚拟机栈、方法区、本地方法栈、程序计数器

堆内缓存和远程服务器缓存redis的选择

  • 堆内缓存一般性能更好,远程缓存需要套接字传输
  • 用户级别缓存尽量采用远程缓存
  • 大数据量尽量采用远程缓存,服务节点化原则

redis的特性

redis有哪些特性

  • 丰富的数据类型
  • 可用于缓存,消息按key设置过期时间,过期后自动删除   setex  set expire时间
  • 支持持久化方式rdb和aof
  • 主从分布式,redis支持主从支持读写分离 redis cluster,动态扩容方式。

你用过redis的哪几种特性

  • 用sorted Set实现过排行榜项目
  • 用过期key结合springboot cache实现过缓存存储
  • redis实现分布式环境seesion共享
  • 用布隆过滤器解决过缓存穿透
  • redis实现分布式锁
  • redis实现订单重推系统

redis缓存雪崩

1、什么是缓存雪崩?你有什么解决方案来防止缓存雪崩?

如果缓存集中在一段时间内失效,发生大量的缓存穿透,所有的查询都落在数据库上,造成了缓存雪崩。
由于原有缓存失效,新缓存未到期间所有原本应该访问缓存的请求都去查询数据库了,而对数据库CPU 和内存造成巨大压力,严重的会造成数据库宕机。

2、你有什么解决方案来防止缓存雪崩?

1、数据预热

缓存预热就是系统上线后,将相关的缓存数据直接加载到缓存系统。这样就可以避免在用户请求的时候,先查询数据库,然后再将数据缓存的问题!用户直接查询事先被预热的缓存数据!可以通过缓存reload机制,预先去更新缓存,再即将发生大并发访问前手动触发加载缓存不同的key。

2、双层缓存策略

C1为原始缓存,C2为拷贝缓存,C1失效时,可以访问C2,C1缓存失效时间设置为短期,C2设置为长期

3、定时更新缓存策略

失效性要求不高的缓存,容器启动初始化加载,采用定时任务更新或移除缓存

5、设置不同的过期时间,让缓存失效的时间点尽量均匀

redis的缓存穿透

什么是缓存穿透?

压测redis缓存 redis缓存测试总结_压测redis缓存

缓存穿透是指查询一个一定不存在的数据,由于缓存是不命中时被动写的,并且出于容错考虑,如果从存储层查不到数据则不写入缓存,这将导致这个不存在的数据每次请求都要到存储层去查询,失去了缓存的意义。在流量大时,可能DB就挂掉了,要是有人利用不存在的key频繁攻击我们的应用,这就是漏洞。

防止缓存穿透的解决方案

  • 缓存空值

如果一个查询返回的数据为空(不管是数据不 存在,还是系统故障)我们仍然把这个空结果进行缓存,但它的过期时间会很短,最长不超过五分钟。 通过这个直接设置的默认值存放到缓存,这样第二次到缓冲中获取就有值了,而不会继续访问数据库。

  • 采用布隆过滤器BloomFilter->优势占用内存空间很小,bit存储。性能特别高。

将所有可能存在的数据哈希到一个足够大的 bitmap 中,一个一定不存在的数据会被这个bitmap 拦截掉,从而避免了对底层存储系统的查询压力

 

大数据成长史