一、什么是Spring Boot ？现阶段的 Spring Boot 可谓是太火了，为什么呢？因为使用方便、配置简洁、上手快速，那么它是什么？从官网上我们可以看到，它是 Spring 开源组织下的一个子项目，主要简化了 Spring 繁重的配置，而且 Spring Boot 内嵌了各种 Servlet 容器，如：Tomcat、Jetty 等二、Spring Boot 的优势 ？1、独立运行：不需要
转载
2024-04-12 12:58:09
58阅读
日常开发中，一个常见需求是判断一个元素是否在一个集合中。比如当你在浏览器中输入一个网址的时候，浏览器会判断网址是否在黑名单里。通常的解决方案是直接查询数据库，看看是否存在相关的记录，不过这往往会比较慢，于是我们又会引入缓存来提升速度，可是当数据比较多的时候，缓存会消耗大量的内存。有没有既速度快又节省内存的解决方案呢？本文介绍一种算法：布隆过滤器（Bloom filter[1]）。所谓布隆过滤器，是
转载
2024-02-20 19:15:01
40阅读
一种节省空间的概率数据结构布隆过滤器可以理解为一个不怎么精确的 set 结构，当你使用它的 contains 方法判断某个对象是否存在时，它可能会误判。但是布隆过滤器也不是特别不精确，只要参数设置的合理，它的精确度可以控制的相对足够精确，只会有小小的误判概率。当布隆过滤器说某个值存在时，这个值可能不存在；当它说不存在时，那就肯定不存在。打个比方，当它说不认识你时，肯定就不认识；当它说见过你时，可能
转载
2024-03-15 20:33:32
29阅读
为什么需要布隆过滤器想象一下遇到下面的场景你会如何处理：手机号是否重复注册用户是否参与过某秒杀活动伪造请求大量 id 查询不存在的记录，此时缓存未命中,如何避免缓存穿透针对以上问题常规做法是：查询数据库，数据库硬扛，如果压力并不大可以使用此方法，保持简单即可。改进做法：用 list/set/tree 维护一个元素集合，判断元素是否在集合内，时间复杂度或空间复杂度会比较高。如果是微服务的话可以用 r
转载
2024-02-23 21:09:19
239阅读
一、简述关于布隆过滤器的详细介绍，我在这里就不再赘述一遍了我们首先知道：BloomFilter使用长度为m bit的字节数组，使用k个hash函数，增加一个元素: 通过k次hash将元素映射到字节数组中k个位置中，并设置对应位置的字节为1。查询元素是否存在: 将元素k次hash得到k个位置，如果对应k个位置的bit是1则认为存在，反之则认为不存在。Guava 中已经有具体的实现，而在我们实际生产环
转载
2023-11-19 18:08:57
150阅读
目录 一、什么是缓存穿透二、怎么解决缓存穿透三、springboot怎么使用Redis四、springboot怎么使用布隆过滤器五、springboot整合Jedis六、springboot整合Redisson六、准备demo所需七、测试 本章来学习记录一下关于缓存三大典型问题其一的缓存穿透的基本解决方式：通过布隆过滤器以及设置nul
转载
2024-04-18 09:46:02
89阅读
LOL：布隆才是联盟最尽职的辅助，一个盾技能全都挡虽然说辅助一哥的位置经常是锤石、泰坦之类的英雄，不过从尽职尽责上面来说，辅助一哥的位置绝对应该是布隆的，他在保护AD方面绝对是足够尽职了，可以将所有打向AD的伤害给挡下来，那我们就看看布隆的盾能挡住多少技能吧！和布隆的盾类似的就是亚索的风墙了，不过亚索风墙只能抵挡一些有弹道的飞行物，普攻的子弹也会算城市飞行物，所以才能被挡下来，潘森的E明确表示挡住
转载
2024-02-01 22:22:53
48阅读
布隆过滤器可以使用极少的空间来判断一个元素是否存在某一个集合中，本文不具体讨论布隆过滤器的原理，而是探讨如何实现一个可用的布隆过滤器。实现源代码：github.com/Smith-Cruis…本文代码提取自 Apache ORC 项目。基本概念这里附带一些链接，适合不了解布隆过滤器的人阅读。zhuanlan.zhihu.com/p/72378274误算率 False Positive使用布隆过滤器
转载
2024-04-02 07:46:01
41阅读
文章目录1 什么是布隆过滤器2 布隆过滤器的作用3 布隆过滤器的基本原理4 在Spring Boot中集成Redisson实现布隆过滤器4.1 添加maven依赖4.2 配置yml4.3 配置RedissonConfig4.4 工具类BloomFilterUtil4.5 编写service实现层 1 什么是布隆过滤器介绍布隆过滤器之前，先介绍一下哈希函数，我们在Java中的HashMap，Has
转载
2023-12-20 08:54:55
240阅读
## 使用 Redisson 和 Spring Boot 实现布隆过滤器
在这篇文章中，我们将学习如何在 Spring Boot 项目中使用 Redisson 实现整数的布隆过滤器。布隆过滤器是一种用于检索数据集中的元素是否存在的概率型数据结构，它可以有效减少数据存储空间并提供快速的查询性能。
### 流程概述
下面是实现布隆过滤器的步骤概述：
| 步骤 | 描述
布隆过滤器布隆过滤器（Bloom Filter）是一种概率空间高效的数据结构。它与hashmap非常相似，用于检索一个元素是否在一个集合中。它在检索元素是否存在时，能很好地取舍空间使用率与误报比例。正是由于这个特性，它被称作概率性数据结构（probabilistic data structure）。空间效率我们来仔细地看看它的空间效率。如果你想在集合中存储一系列的元素，有很多种不同的做法。你可以
简述关于布隆过滤器的详细介绍，我在这里就不再赘述一遍了，不了解的可以去布隆(Bloom Filter)过滤器我们首先知道：BloomFilter使用长度为m bit的字节数组，使用k个hash函数，增加一个元素: 通过k次hash将元素映射到字节数组中k个位置中，并设置对应位置的字节为1。查询元素是否存在: 将元素k次hash得到k个位置，如果对应k个位置的bit是1则认为存在，反之则认为不存在。
转载
2023-11-20 06:07:08
102阅读
文章目录1. 布隆过滤器1.1 布隆过滤器设计思想1.2 布隆过滤器优缺点2. 布隆过滤器的实现2.1 Guava中的实现2.2 Redis的bitmap实现 1. 布隆过滤器1.1 布隆过滤器设计思想布隆过滤器（Bloom Filter，下文简称BF）是专门用来检测集合中是否存在特定元素的数据结构。它是由长度为m比特的位数组和k个哈希函数组成的数据结构。位数组均初始化为0，哈希函数可以将输入数
转载
2024-02-20 10:35:59
55阅读
在学习redis过程中提到一个缓存穿透的问题， 书中参考的解决方案之一是使用布隆过滤器， 那么就有必要来了解一下什么是布隆过滤器。在参考了许多博客之后， 写个总结记录一下。一、布隆过滤器简介什么是布隆过滤器？本质上布隆过滤器( BloomFilter )是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure），特点是高效地插入和查询，可以用来告诉你 “某
转载
2023-08-16 17:08:04
49阅读
布隆过滤器Data structures are nothing different. They are like the bookshelvesof your application where you can organize your data. Different datastructures will give you different facility and benefits. T
转载
2024-04-12 17:20:58
53阅读
布隆过滤器原理
布隆过滤器原理
开发一个电商项目，因为数据量一直在增加(已达亿级)，所以需要重构之前开发好的秒杀功能，为了更好的支持高并发，在验证用户是否重复购买的环节，就考虑用布隆过滤器。也顺便更加深入的去了解下布隆过滤器的原理，感觉还是蛮有意思的，这一连串的公式不静下心来思考，很容易被绕晕。 一、概述1、什么是布隆过滤器本质上布隆过滤器是一种数据结构，比较巧妙的概率型数
Scrapy 结合布隆过滤器背景： 因为最近在写scrapy项目碰到了需要实现爬虫重启之后可以自动过滤上一次已经爬过的网址，以避免重复爬，所以就在网上找有关scrapy结合布隆过滤器的一些方法，主要有两个不错的方法：一个是崔庆才大佬写的scrapy-redis-bloomfilter博客链接，这个是在分布式爬虫scrapy-redis的基础上加上BloomFiler实现的，重写了scrapy中的一
转载
2024-07-28 10:59:01
58阅读
布隆过滤器布隆过滤器可以理解为一个不怎么精确的 set 结构，当你使用它的 contains 方法判断某 个对象是否存在时，它可能会误判。但是布隆过滤器也不是特别不精确，只要参数设置的合 理，它的精确度可以控制的相对足够精确，只会有小小的误判概率。当布隆过滤器说某个值存在时，这个值可能不存在;当它说不存在时，那就肯定不存 在。打个比方，当它说不认识你时，肯定就不认识;当它说见过你时，可能根本就没见
转载
2023-10-10 08:54:32
307阅读
文章目录布隆过滤器的使用场景布隆过滤器实现原理布隆过滤器的误差 布隆过滤器的使用场景在redis缓存的那篇文章中，讲到了出现缓存穿透的时候，因为redis和数据库都没有数据，所以如果出现大量的空返回，这样无意义的值，大量的查询打到redis和数据库当中，会对两者的性能产生较大的性能影响。所以在这里我们使用布隆过滤器（bloom filter）在进入redis查询前来判断所要查询的数据是否存在。下
转载
2023-08-04 20:28:56
89阅读
在Redis 缓存击穿（失效）、缓存穿透、缓存雪崩怎么解决？中我们说到可以使用布隆过滤器避免「缓存穿透」。码哥，布隆过滤器还能在哪些场景使用呀？比如我们使用「码哥跳动」开发的「明日头条」APP 看新闻，如何做到每次推荐给该用户的内容不会重复，过滤已经看过的内容呢？你会说我们只要记录了每个用户看过的历史记录，每次推荐的时候去查询数据库过滤存在的数据实现去重。实际上，如果历史记录存储在关系数据库里，去
转载
2024-02-15 14:59:47
83阅读
