前言前面在说缓存穿透的时候说到解决方案的时候正好有提到布隆过滤器，正好现在就来说一说这个布隆过滤器是怎么一回事，在说布隆过滤器之前可能需要先说下位图算法位图位图（Bitmap），又称栅格图（英语：Raster graphics）或点阵图，是使用像素阵列(Pixel-array/Dot-matrix点阵)来表示的图像（摘自百度百科）。我们可以理解为是一个 bit 数组，每个元素存储数据的状态（由于每
转载
2023-08-12 15:20:13
86阅读
目录前言一、什么是布隆过滤器（Bloom Filter）二、布隆过滤器的原理三、布隆过滤器的工作流程四、布隆过滤器的实际应用场景五、Java实现布隆过滤器5.1、Guava5.2、Redission5.3、Apache Commons5.4、Jedis前言 想必大家都知道布隆过滤器，它是为了预防黑客发起大量非法请求的一种手段，例如Redis的缓
转载
2023-09-04 18:40:05
28阅读
原理用一个哈希算法(Hash函数)将一个集合元素映射到一个二进制位数组（位数组）中的某一位。如果该位已经被置为1，那么表示该元素已经存在。为了减少hash冲突问题,所以引用了多个哈希函数,如果通过其中的一个Hash值得出某元素不在集合中，那么该元素肯定不在集合中。只有在所有的Hash函数告诉我们该元素在集合中时，才能确定该元素存在于集合中。这便是Bloom-Filter的基本思想。这是BitMap
转载
2023-07-05 23:24:59
85阅读
本文对布隆过滤器的如下几个方面进行了思考：理论上做成黑名单有误判缺陷，但做白名单毫无问题，黑白名单结合才能实现黑名单适合过滤离散值，不适合过滤连续值如何维护布隆过滤器1.布隆过滤的基本特征bitMap（适合数据量巨大的场景） + 多个hash映射实现在业务中需要写在最开头，常用Redisson和Guava的API，但Guava只能单体项目玩玩可以加长数组长度（减少hash碰撞，减少误判为真），允许
转载
2023-11-24 13:14:02
8阅读
布隆过滤器（Bloom Filter），是一个很长的二进制向量和一系列随即映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中，它的空间效率和查询时间都远超一般的算法，但是有一定的误识别率和删除困难。原理当一个元素被加入到集合中时，通过k个散列函数将这个元素映射称一个位数组的k个点，把他们设置为1。检索时，我们只需要看 这些点是否都是1就知道集合中有没有了；如果这些点中有任何一个0，则被检索元
转载
2023-08-12 15:19:58
167阅读
一.介绍与原理 在我们开发过程中，避免不了经常使用到redis这个缓存中间件，尤其是在大并发访问量的时候，他的存在会让我们在对数据库操作时节省很大的性能。 然而当我们进行redis的使用时，难免不了会发生以下这三种redis搞崩数据库的情况：缓存击穿、缓存穿透、缓存雪崩。而在遇到这几种情况时，我们都要有对应的解决措施去防止他的发生。今天我要记录的就是redis m
转载
2023-07-05 23:23:56
73阅读
布隆过滤器介绍巴顿.布隆于一九七零年提出，布隆过滤器中有一个很长的二进制向量（位数组）一系列随机函数 (哈希) 空间效率和查询效率高存在一定的误判率布隆过滤器原理布隆过滤器（Bloom Filter）的核心实现是一个超大的位数组和几个哈希函 数。假设位数组的长度为m，哈希函数的个数为k以上图为例，具体的操作流程：假设集合里面有3个元素{x, y, z}，哈希函 数的个数为3。首先将位数组进行初始化
转载
2023-11-11 15:14:57
124阅读
什么是布隆过滤器本质上布隆过滤器是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure），特点是高效地插入和查询，可以用来告诉你 “某样东西一定不存在或者可能存在”。相比于传统的 List、Set、Map 等数据结构，它更高效、占用空间更少，但是缺点是其返回的结果是概率性的，而不是确切的。实现原理hashMap的问题判断一个文件中是否存在某个元素，通常会
转载
2023-09-27 13:50:09
70阅读
常见使用场景1、缓存击穿将已存在的缓存放到布隆中，当黑客访问不存在的缓存时迅速返回避免缓存及DB挂掉比如说：活动详情接口，我们可以缓存所有活动id，每一次调用活动详情接口时先通过布隆过滤器进行一次判断，通过后在查询活动详情的缓存。否则直接将此请求拦截。比如说：活动详情接口，我们可以缓存所有活动id，每一次调用活动详情接口时先通过布隆过滤器进行一次判断，通过后在查询活动详情的缓存。否则直接将此请求拦
转载
2023-07-05 23:25:27
20阅读
文章目录1. 布隆过滤器1.1 布隆过滤器设计思想1.2 布隆过滤器优缺点2. 布隆过滤器的实现2.1 Guava中的实现2.2 Redis的bitmap实现 1. 布隆过滤器1.1 布隆过滤器设计思想布隆过滤器（Bloom Filter，下文简称BF）是专门用来检测集合中是否存在特定元素的数据结构。它是由长度为m比特的位数组和k个哈希函数组成的数据结构。位数组均初始化为0，哈希函数可以将输入数
转载
2024-02-20 10:35:59
55阅读
总结:布隆过滤器会接收数据并使用几个哈希函数进行计算,计算后如果符合对应的结果,就会在01byte数组的对应索引位置上set值为1.当每个哈希函数对应的索引位置都为1是,放行,否则拦截.优缺点布隆过滤器的优点：时间复杂度低，增加和查询元素的时间复杂为O(N)，（N为哈希函数的个数，通常情况比较小）保密性强，布隆过滤器不存储元素本身存储空间小，如果允许存在一定的误判，布隆过滤器是非常节省空间的（相比
转载
2024-06-15 11:20:01
57阅读
Bitmap 位图映射简单的来说Bitmap就是将数值作为数组的下标，数组的每个值的每一位（int正常在32位机上占4个字节，也即是可以32位）非0即1.如果某个数字存在的话就置为1。Bitmap的缺点：每个元素对应一个bit，这种映射的方法比较适合数字的查找，空间复杂度随着最大元素的增大而增加；优点是处理大量数据是可以大大减少空间的消耗，空间复杂度不随着原始集合内的元素个数增加而增加。Bitma
转载
2023-11-18 15:28:16
152阅读
我们业务后端涉及数据库,当请求消息查询某些信息时,可能先检查缓存中是否有相关信息,有的话返回,如果没有的话可能就要去数据库里面查询,这时候有一个问题,如果很多请求是在请求数据库根本不存在的数据,那么数据库就要频繁响应这种不必要的IO查询,如果再多一些,数据库大多数IO都在响应这种毫无意义的请求操作,那么如何将这些请求阻挡在外呢?过滤器由此诞生:布隆过滤器布隆过滤器(Bloom Filter)大概的
转载
2023-12-01 10:14:11
121阅读
文章目录布隆过滤器是什么？基本概念Bloom Filter 的使用场景Bloom Filter 的缺点如何使用 Bloom Filter？Bloom Filter 的安装基本用法Jedis 如何使用 Bloom Filter缓存击穿场景 布隆过滤器是什么？布隆过滤器 (Bloom Filter) 是1970年由布隆提出的。它实际上是一个很长的二进制向量和一些里随机映射函数。布隆过滤器可以用来检索
转载
2023-08-21 14:48:51
44阅读
文章目录布隆过滤器的在Redis中的作用布隆过滤器的场景什么是布隆过滤器布隆过滤器原理Redis 集成布隆过滤器下载安装继承Redis 布隆过滤器实战添加订单ID到过滤器判断订单是否存在Redission 布隆过滤器实战 布隆过滤器的在Redis中的作用在Redis 缓存击穿（失效）、缓存穿透、缓存雪崩怎么解决？中我们说到可以使用布隆过滤器避免「缓存穿透」。我们只要记录了每个用户看过的历史记录，
转载
2023-08-30 08:49:38
90阅读
目录一、布隆过滤器BloomFilter1.1、面试题1.2、 布隆过滤器简介1.2.1、设计思想 1.3、特点 1.4、布隆过滤器原理 1.4.1、实现原理与数据结构 1.4.2、添加key、查询key 1.4.3、hash冲突导致数据不精准 1.4.4、三步骤 1.4.5、布隆过滤器误判，为什么不要删除
转载
2024-01-30 21:20:08
152阅读
目录一、布隆过滤器布隆过滤器的原理应用场景二、代码一、布隆过滤器布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量（数组）和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。布隆过滤器的原理 布隆过滤器就是由一个二进制的数据和一些hash算法
转载
2023-08-31 21:07:05
97阅读
1、数学之美系列二十一 － 布隆过滤
原创
2023-06-06 17:05:04
72阅读
前言在「面试」Redis 这一篇就够了 这篇文中有提到用布隆过滤器来解决缓存穿透。那么，今天，他来了，他来了，他脚踏七彩祥云来了(手动狗头)是什么？弗雷尔卓德之心布隆是 LOL 中偏辅助的英雄，下面给大家带来他的技能和出装介绍，这时一个拖鞋啪的一声打在了我的脸上......布隆过滤器(Bloom Filter) 是一种节省空间的概率数据结构，由 Burton Howard Bloom 在 1970
转载
2023-11-21 10:05:51
58阅读
在计算机中，IO一直是一个瓶颈，很多框架以及技术甚至硬件都是为了降低IO操作而生，先说一个场景: 业务后端涉及数据库，当请求消息查询某些信息时，可能先检查缓存中是否有相关信息，有的话返回，如果没有的话可能就要去数据库里面查询，这时候有一个问题，如果很多请求是在请求数据库根本不存在的数据，那么数据库就要频繁响应这种不必要的IO查询，如果再多一些，数据库大多数IO都在响应这种毫无意义的请求操作，那么如
转载
2023-10-08 09:41:36
107阅读
