一种节省空间的概率数据结构布隆过滤器可以理解为一个不怎么精确的 set 结构，当你使用它的 contains 方法判断某个对象是否存在时，它可能会误判。但是布隆过滤器也不是特别不精确，只要参数设置的合理，它的精确度可以控制的相对足够精确，只会有小小的误判概率。当布隆过滤器说某个值存在时，这个值可能不存在；当它说不存在时，那就肯定不存在。打个比方，当它说不认识你时，肯定就不认识；当它说见过你时，可能
日常开发中，一个常见需求是判断一个元素是否在一个集合中。比如当你在浏览器中输入一个网址的时候，浏览器会判断网址是否在黑名单里。通常的解决方案是直接查询数据库，看看是否存在相关的记录，不过这往往会比较慢，于是我们又会引入缓存来提升速度，可是当数据比较多的时候，缓存会消耗大量的内存。有没有既速度快又节省内存的解决方案呢？本文介绍一种算法：布隆过滤器（Bloom filter[1]）。所谓布隆过滤器，是
LOL：布隆才是联盟最尽职的辅助，一个盾技能全都挡虽然说辅助一哥的位置经常是锤石、泰坦之类的英雄，不过从尽职尽责上面来说，辅助一哥的位置绝对应该是布隆的，他在保护AD方面绝对是足够尽职了，可以将所有打向AD的伤害给挡下来，那我们就看看布隆的盾能挡住多少技能吧！和布隆的盾类似的就是亚索的风墙了，不过亚索风墙只能抵挡一些有弹道的飞行物，普攻的子弹也会算城市飞行物，所以才能被挡下来，潘森的E明确表示挡住
前言在「面试」Redis 这一篇就够了 这篇文中有提到用布隆过滤器来解决缓存穿透。那么，今天，他来了，他来了，他脚踏七彩祥云来了(手动狗头)是什么？弗雷尔卓德之心布隆是 LOL 中偏辅助的英雄，下面给大家带来他的技能和出装介绍，这时一个拖鞋啪的一声打在了我的脸上......布隆过滤器(Bloom Filter) 是一种节省空间的概率数据结构，由 Burton Howard Bloom 在 1970
什么是布隆过滤器布隆过滤器是一种内存友好的数据结构，它可以高效地判断一个元素是否存在于一个集合中，以及大幅减少磁盘/数据库等IO操作。与哈希表和树等数据结构不同，它可以实现非常高的查找速度和存储效率，适用于需要快速并且高效地处理大数据集的场景。布隆过滤器原理布隆过滤器的基本思想是使用多个哈希函数对元素进行多次哈希，然后在对应的位上置位。其中K个互不相关的哈希函数会把元素映射成K个整数值，这些整数值
转载
2023-06-26 23:02:40
83阅读
文章目录布隆过滤器的在Redis中的作用布隆过滤器的场景什么是布隆过滤器布隆过滤器原理Redis 集成布隆过滤器下载安装继承Redis 布隆过滤器实战添加订单ID到过滤器判断订单是否存在Redission 布隆过滤器实战 布隆过滤器的在Redis中的作用在Redis 缓存击穿（失效）、缓存穿透、缓存雪崩怎么解决？中我们说到可以使用布隆过滤器避免「缓存穿透」。我们只要记录了每个用户看过的历史记录，
转载
2023-08-30 08:49:38
79阅读
常见的一台MySql服务器的并发量为600左右redis数据类型：(9种) string、hash、list、set、zset、bitmap、hyperloglogs、geo、streams爬虫判断url是否爬取过？url地址过滤方法布隆过滤器BloomFilter本质上布隆过滤器是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure），特点是高效地插入
前言前面在说缓存穿透的时候说到解决方案的时候正好有提到布隆过滤器，正好现在就来说一说这个布隆过滤器是怎么一回事，在说布隆过滤器之前可能需要先说下位图算法位图位图（Bitmap），又称栅格图（英语：Raster graphics）或点阵图，是使用像素阵列(Pixel-array/Dot-matrix点阵)来表示的图像（摘自百度百科）。我们可以理解为是一个 bit 数组，每个元素存储数据的状态（由于每
转载
2023-08-12 15:20:13
71阅读
布隆过滤器(Bloom Filter)，是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。Bloom Filter原理当一个元素被加入集合时，通过K个散列函数将这个元素映射成一个位数组中的K个点，把它们置为1。检索时，我们只要看看这些点是不
转载
2023-08-20 14:57:17
87阅读
文章目录布隆过滤器 - Redis 布隆过滤器，Guava 布隆过滤器 BloomFilter1、布隆过滤器的起源，用途2、布隆过滤器的概
原创
2022-05-26 08:23:00
1238阅读
一、什么是布隆过滤器？首先，我们需要了解布隆过滤器的概念布隆过滤器（Bloom Filter）是一个叫做 Bloom 的人于 1970 年提出的。我们可以把它看作由二进制向量（或者说位数组）和一系列随机映射函数（哈希函数）两部分组成的数据结构。相比于我们平时常用的的 List、Map 、Set 等数据结构，它占用空间更少并且效率更高，但是缺点是其返回的结果是概率性的，而不是非常准确的。理论情况下添
转载
2023-09-20 06:36:57
19阅读
1 布隆过滤器简介布隆过滤器是一种空间利用率较高的概率型数据结构，用来测试一个元素是否在集合中。但是存在一定可能，导致结果误判。即元素不在集合中，查询结果却返回元素在集合中。布隆过滤器一些的性质与哈希表不同，布隆过滤器是一个大小固定的过滤器，可以通过任意大的数字来描述集合大小添加一个元素到集合中永远不会添加失败，但误报率会随着添加元素数量的增多逐渐上升，直到集合中所有位都设置位1查询一个元素是否存
问题的提出我们有一个不安全网页的黑名单，包含了100亿个黑名单网页的URL,每个网页URL最多占用64B.。现在我们要设计一个网页过滤系统，这个系统要判断该网页是否在黑名单里，但是我们的空间有限，只有30GB.允许有万分之一的判断失误布隆过滤器我们可以把所有的URL保存起来，比如放到hashmap里，但是64B*100亿=640GB，不符合要求。布隆过滤器（Bloom Filter）是1970年由
引言在介绍布隆过滤器之前我们首先引入几个场景。场景一在一个高并发的计数系统中，如果一个key没有计数，此时我们应该返回0，但是访问的key不存在，相当于每次访问缓存都不起作用了。那么如何避免频繁访问数量为0的key而导致的缓存被击穿？有人说， 将这个key的值置为0存入缓存不就行了吗？确实，这是一个好的方案。大部分情况我们都是这样做的，当访问一个不存在的key的时候，设置一个带有过期时间的标志，然
转载
2023-05-23 21:49:52
52阅读
关于布隆过滤器，这个名词其实在我学 redis 不久后就知道了，但是对他没有一种很深刻的理解。前言首次听到布隆过滤器还是在Redis的缓存穿透的解决方案中看到的。当时一直没有应用场景，就一直摆在那，也没仔细学。但是现在感觉不卷，已经快没有活路，所以又开始看起了面试题。今天谈到的就是布隆过滤器，偏向于理论知识卷又卷不动，躺又躺不平，麻了。一、什么是布隆过滤器？布隆过滤器，术语解释：它实际上是一个很长
目录前言一、什么是布隆过滤器（Bloom Filter）二、布隆过滤器的原理三、布隆过滤器的工作流程四、布隆过滤器的实际应用场景五、Java实现布隆过滤器5.1、Guava5.2、Redission5.3、Apache Commons5.4、Jedis前言 想必大家都知道布隆过滤器，它是为了预防黑客发起大量非法请求的一种手段，例如Redis的缓
转载
2023-09-04 18:40:05
0阅读
## 如何使用 RedisTemplate 实现布隆过滤器
### 一、整体流程
在使用 RedisTemplate 实现布隆过滤器的过程中，我们需要完成以下步骤：
| 步骤 | 描述 |
| --- | --- |
| 1 | 引入 Redis 相关依赖 |
| 2 | 创建 RedisTemplate 实例 |
| 3 | 创建布隆过滤器类 |
| 4 | 实现添加元素方法 |
| 5
布隆过滤器概念及其公式推导布隆过滤器概念数据如何存入布隆过滤器误判情况实际应用面试题公式推导误判概率即失误率的证明和计算其他使用场景布隆过滤器概念数据如何存入布隆过滤器布隆过滤器是由一个很长的二进制矢量和一系列哈希函数组成的。二进制矢量本质是一个位数组：数组的每个元素都只占1bit空间，并且每个元素只能为0或1。布隆过滤器还拥有k个哈希函数，当一个元素加入布隆过滤器中的时候，会使用k个哈希函数对其
楔子我们前面介绍过 HyperLogLog 可以用来做基数统计，但它没提供判断一个值是否存在的查询方法，那我们如何才能在海量数据之中判断一个值是否存在呢？因为是海量数据，所以我们就无法将每个键值都存起来，然后再从结果中检索数据了，比如数据库中的 select count(1) from tablename where id='XXX'，或者是使用 Redis 普通的查询方法 get XXX 等方式
转载
2023-07-10 00:57:43
125阅读
目录一. 情景导入二. bit数组2.1 数组介绍2.2 数组构建2.3 bit数组详解三. 布隆过滤器3.1 布隆过滤器介绍3.2 布隆过滤器 的参数详解3.2.1 对bit数组大小m 的探究3.2.2 对哈希函数个数k 的探究 四. 布隆过滤器的几个公式五. 总结一. 情景导入假设有这么一种情景：你是一家负责做浏览器的公司，对于某些不健康的网址，你希望你能够在用户访问这些网址时，弹出
