文章目录布隆过滤器的在Redis中的作用布隆过滤器的场景什么是布隆过滤器布隆过滤器原理Redis 集成布隆过滤器下载安装继承Redis 布隆过滤器实战添加订单ID到过滤器判断订单是否存在Redission 布隆过滤器实战 布隆过滤器的在Redis中的作用在Redis 缓存击穿（失效）、缓存穿透、缓存雪崩怎么解决？中我们说到可以使用布隆过滤器避免「缓存穿透」。我们只要记录了每个用户看过的历史记录，
转载
2023-08-30 08:49:38
90阅读
前言在「面试」Redis 这一篇就够了 这篇文中有提到用布隆过滤器来解决缓存穿透。那么，今天，他来了，他来了，他脚踏七彩祥云来了(手动狗头)是什么？弗雷尔卓德之心布隆是 LOL 中偏辅助的英雄，下面给大家带来他的技能和出装介绍，这时一个拖鞋啪的一声打在了我的脸上......布隆过滤器(Bloom Filter) 是一种节省空间的概率数据结构，由 Burton Howard Bloom 在 1970
转载
2023-11-21 10:05:51
58阅读
楔子我们前面介绍过 HyperLogLog 可以用来做基数统计，但它没提供判断一个值是否存在的查询方法，那我们如何才能在海量数据之中判断一个值是否存在呢？因为是海量数据，所以我们就无法将每个键值都存起来，然后再从结果中检索数据了，比如数据库中的 select count(1) from tablename where id='XXX'，或者是使用 Redis 普通的查询方法 get XXX 等方式
转载
2023-07-10 00:57:43
128阅读
当你遇到数据量大，又需要去重的时候就可以考虑布隆过滤器，如下场景：解决 Redis 缓存穿透问题（面试重点）；邮件过滤，使用布隆过滤器实现邮件黑名单过滤；爬虫爬过的网站过滤，爬过的网站不再爬取；推荐过的新闻不再推荐；什么是布隆过滤器布隆过滤器 (Bloom Filter)是由 Burton Howard Bloom 于 1970 年提出，它是一种 space efficient 的概率型
转载
2023-10-12 21:45:37
75阅读
前言前面在说缓存穿透的时候说到解决方案的时候正好有提到布隆过滤器，正好现在就来说一说这个布隆过滤器是怎么一回事，在说布隆过滤器之前可能需要先说下位图算法位图位图（Bitmap），又称栅格图（英语：Raster graphics）或点阵图，是使用像素阵列(Pixel-array/Dot-matrix点阵)来表示的图像（摘自百度百科）。我们可以理解为是一个 bit 数组，每个元素存储数据的状态（由于每
转载
2023-08-12 15:20:13
86阅读
目录前言一、什么是布隆过滤器（Bloom Filter）二、布隆过滤器的原理三、布隆过滤器的工作流程四、布隆过滤器的实际应用场景五、Java实现布隆过滤器5.1、Guava5.2、Redission5.3、Apache Commons5.4、Jedis前言 想必大家都知道布隆过滤器，它是为了预防黑客发起大量非法请求的一种手段，例如Redis的缓
转载
2023-09-04 18:40:05
28阅读
关于布隆过滤器，这个名词其实在我学 redis 不久后就知道了，但是对他没有一种很深刻的理解。前言首次听到布隆过滤器还是在Redis的缓存穿透的解决方案中看到的。当时一直没有应用场景，就一直摆在那，也没仔细学。但是现在感觉不卷，已经快没有活路，所以又开始看起了面试题。今天谈到的就是布隆过滤器，偏向于理论知识卷又卷不动，躺又躺不平，麻了。一、什么是布隆过滤器？布隆过滤器，术语解释：它实际上是一个很长
转载
2024-08-13 19:09:27
45阅读
速记为什么使用布隆过滤器？ 1.为了省内存，提高速率 2.因为1所以布隆过滤器不需要百分百正确 3.说存在不一定存在，说不存在一定不存在 4.在解决缓存穿透的问题时，拦截了大部分的请求，只有小部分携带了大量信息的恶意请求访问到了数据库 5.不准确的原因是可能会和别的key发生冲突，所以位数组越大精确度越高，但是占用内存越多。所以在设置布隆过滤器的时候，这个容错率是多少是百分之一还是百分之十，是否牺
转载
2023-08-20 18:40:48
282阅读
布隆过滤器(Bloom Filter)详解 基本概念如果想判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。链表，树等等数据结构都是这种思路. 但是随着集合中元素的增加，我们需要的存储空间越来越大，检索速度也越来越慢。不过世界上还有一种叫作散列表（又叫哈希表，Hash table）的数据结构。它可以通过一个Hash函数将一个元素映射成一个位阵列（Bit A
转载
2024-06-25 08:48:40
33阅读
布隆过滤器Bloom Filter布隆过滤器于1970年由布隆提出，它是一个空间效率高的概率型数据结构，可以用来告诉你：一个元素一定不存在或者可能存在。 优点：空间效率和查询时间都远远超过一般的算法（使用哈希表将占用大量的内存空间）。 缺点：有一定的误判率、删除困难。 它实质上是一个很长的二进制向量和一系列随机映射函数（Hash函数）组成，常用于网页黑名单系统、垃圾邮件过滤系统、爬虫的网址判重系统
1.使用场景：推荐系统给用户推荐新闻，避免重复推送。需要考虑问题：从用户观看历史中筛选出没有看过的新闻进行推送，就需要数据库中频繁的使用exists进行查询，但是当用户量很大时，数据库很难顶住压力。解决方法：1.1.使用缓存？但是日子长了，会浪费很大空间，不是长久之计，不是很好的解决办法。1.2.这时布隆过滤器就可以很好的解决这个需求了，可以节约90%以上的空间，缺点就是稍微有那么一点不准确，存在
转载
2023-06-28 16:22:24
341阅读
文章目录布隆过滤器 - Redis 布隆过滤器，Guava 布隆过滤器 BloomFilter1、布隆过滤器的起源，用途2、布隆过滤器的概
原创
2022-05-26 08:23:00
1336阅读
python实现布隆过滤器及原理解析 布隆过滤器( BloomFilter )是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure），特点是高效地插入和查询，可以用来告诉你 “某样东西一定不存在或者可能存在”。这篇文章主要介绍了python实现布隆过滤器 ,需要的朋友可以参考下 在学习redis过程中提到一个缓存击穿的问
转载
2023-12-19 20:56:13
38阅读
本文目录本文导读一、什么是布隆过滤器（Bloom Filter）二、布隆过滤器的工作原理与设计思想三、Redis中的布隆过滤器1、安装 RedisBloom1.1、docker镜像安装1.2、直接编译2、Redis中布隆过滤器的使用四、布隆过滤器特点与使用场景总结本文导读本文系统性学习布隆过滤器（Bloom Filter），了解什么是布隆过滤器，布隆过滤器的原理，同时学习Redis中的布隆过滤器的
转载
2023-07-19 13:57:57
26阅读
在学习redis过程中提到一个缓存穿透的问题， 书中参考的解决方案之一是使用布隆过滤器， 那么就有必要来了解一下什么是布隆过滤器。在参考了许多博客之后， 写个总结记录一下。一、布隆过滤器简介什么是布隆过滤器？本质上布隆过滤器( BloomFilter )是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure），特点是高效地插入和查询，可以用来告诉你 “某
转载
2023-08-16 17:08:04
49阅读
content{:toc}布隆过滤器原理布隆过滤器是用来判断一个元素是否出现在给定集合中的重要工具，具有快速，比哈希表更节省空间等优点，而缺点是存在一定的误识别率(fast-positive)，也就是它可能会把不是集合内的元素判定为存在于集合内，不过这样的概率相当小。其原理也比较简单，如图所示，S 集合中有 n 个元素，利用 k 个哈希函数，将 S 中的每个元素映射到一个长度为 m 的位(bit)
转载
2024-04-11 13:58:27
34阅读
文章目录布隆过滤器的使用场景布隆过滤器实现原理布隆过滤器的误差 布隆过滤器的使用场景在redis缓存的那篇文章中，讲到了出现缓存穿透的时候，因为redis和数据库都没有数据，所以如果出现大量的空返回，这样无意义的值，大量的查询打到redis和数据库当中，会对两者的性能产生较大的性能影响。所以在这里我们使用布隆过滤器（bloom filter）在进入redis查询前来判断所要查询的数据是否存在。下
转载
2023-08-04 20:28:56
89阅读
其实对布隆过滤器的了解是因为“布隆”这个英雄！哈哈哈哈哈哈。 布隆过滤器的使用场景： 我们都知道，我们只要在浏览器的地址栏中输入url就可以访问自己想要访问的资源了，比例如http://www.baidu.com 但是有些网站你前一阵子还可以访问，但是最近访问的时候发现访问时报404，这时什么原因呢？也许是服务器被开发人员主动的关闭了，也许该网站所提供的资源不符合社会主义核心
转载
2023-08-08 08:47:38
172阅读
解题思路：布隆过滤器基础介绍布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量(位图)和一系列随机映射函数（哈希函数）。 布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。实际工程的应用实际上，布隆过滤器广泛应用于网页黑名单系统、垃圾邮件过滤系统、爬虫网址判重系统等，有人会
转载
2023-12-06 16:08:02
218阅读
本文对布隆过滤器的如下几个方面进行了思考：理论上做成黑名单有误判缺陷，但做白名单毫无问题，黑白名单结合才能实现黑名单适合过滤离散值，不适合过滤连续值如何维护布隆过滤器1.布隆过滤的基本特征bitMap（适合数据量巨大的场景） + 多个hash映射实现在业务中需要写在最开头，常用Redisson和Guava的API，但Guava只能单体项目玩玩可以加长数组长度（减少hash碰撞，减少误判为真），允许
转载
2023-11-24 13:14:02
8阅读
