文章目录布隆过滤器的在Redis中的作用布隆过滤器的场景什么是布隆过滤器布隆过滤器原理Redis 集成布隆过滤器下载安装继承Redis 布隆过滤器实战添加订单ID到过滤器判断订单是否存在Redission 布隆过滤器实战 布隆过滤器的在Redis中的作用在Redis 缓存击穿（失效）、缓存穿透、缓存雪崩怎么解决？中我们说到可以使用布隆过滤器避免「缓存穿透」。我们只要记录了每个用户看过的历史记录，
转载
2023-08-30 08:49:38
90阅读
LOL：布隆才是联盟最尽职的辅助，一个盾技能全都挡虽然说辅助一哥的位置经常是锤石、泰坦之类的英雄，不过从尽职尽责上面来说，辅助一哥的位置绝对应该是布隆的，他在保护AD方面绝对是足够尽职了，可以将所有打向AD的伤害给挡下来，那我们就看看布隆的盾能挡住多少技能吧！和布隆的盾类似的就是亚索的风墙了，不过亚索风墙只能抵挡一些有弹道的飞行物，普攻的子弹也会算城市飞行物，所以才能被挡下来，潘森的E明确表示挡住
转载
2024-02-01 22:22:53
48阅读
前言在「面试」Redis 这一篇就够了 这篇文中有提到用布隆过滤器来解决缓存穿透。那么，今天，他来了，他来了，他脚踏七彩祥云来了(手动狗头)是什么？弗雷尔卓德之心布隆是 LOL 中偏辅助的英雄，下面给大家带来他的技能和出装介绍，这时一个拖鞋啪的一声打在了我的脸上......布隆过滤器(Bloom Filter) 是一种节省空间的概率数据结构，由 Burton Howard Bloom 在 1970
转载
2023-11-21 10:05:51
58阅读
# 使用 Redis 实现布隆过滤器
## 引言
在现代数据处理和存储中，有时我们需要在性能和内存之间找到平衡。布隆过滤器（Bloom Filter）是一种空间效率极高的概率数据结构，用于测试一个元素是否在一个集合里面。它支持快速查询，但可能会出现假阳性（即判定一个元素在集合中，但实际上不在）。Redis 是一个优秀的键值存储系统，它支持多种数据结构，布隆过滤器便是其中之一。本文将介绍如何在
原创
2024-09-27 08:02:04
63阅读
Redis 布隆キー是一种高效的数据结构，用于判断某个元素是否在一个集合中。它利用布隆过滤器的原理，将内存使用效率最大化，同时降低查找时间。接下来，我将分享解决“Redis 布隆キー”问题的过程，涵盖环境配置、编译过程、参数调优、定制开发、错误集锦和生态集成。
## 环境配置
在开始之前，我需要配置开发环境。这个步骤涉及到Redis和布隆过滤器库的安装。在此，我使用了思维导图来展示所需的环境组
# Redis 布隆过滤器的删除机制
## 引言
Redis 是一个开源的内存数据结构存储系统，广泛用于高性能的数据库、缓存和消息代理。布隆过滤器是一种空间效率极高的数据结构，用于检测一个元素是否在一个集合中。尽管布隆过滤器常用于判断元素的存在性，但其本身并不支持直接删除元素。这是因为布隆过滤器使用哈希函数映射元素到位数组中，因此无法仅通过删除某个位来确定地删除一个元素。为了解决这个问题，我们
我们在使用新闻客户端看新闻时，它会给我们不停地推荐新的内容，它每次推荐时要去重，去掉那些已经看过的内容。问题来了，新闻客户端推荐系统如何实现推送去重的？ 会想到服务器记录了用户看过的所有历史记录，当推荐系统推荐新闻时会从每个用户的历史记录里进行筛选，过滤掉那些已经存在的记录。问题是当用户量很大，每个用户看过的新闻又很多的情况下，这种方式，推荐系统的去重工作在性能上跟的上么？
转载
2024-10-16 21:32:29
29阅读
楔子我们前面介绍过 HyperLogLog 可以用来做基数统计，但它没提供判断一个值是否存在的查询方法，那我们如何才能在海量数据之中判断一个值是否存在呢？因为是海量数据，所以我们就无法将每个键值都存起来，然后再从结果中检索数据了，比如数据库中的 select count(1) from tablename where id='XXX'，或者是使用 Redis 普通的查询方法 get XXX 等方式
转载
2023-07-10 00:57:43
128阅读
当你遇到数据量大，又需要去重的时候就可以考虑布隆过滤器，如下场景：解决 Redis 缓存穿透问题（面试重点）；邮件过滤，使用布隆过滤器实现邮件黑名单过滤；爬虫爬过的网站过滤，爬过的网站不再爬取；推荐过的新闻不再推荐；什么是布隆过滤器布隆过滤器 (Bloom Filter)是由 Burton Howard Bloom 于 1970 年提出，它是一种 space efficient 的概率型
转载
2023-10-12 21:45:37
75阅读
前言前面在说缓存穿透的时候说到解决方案的时候正好有提到布隆过滤器，正好现在就来说一说这个布隆过滤器是怎么一回事，在说布隆过滤器之前可能需要先说下位图算法位图位图（Bitmap），又称栅格图（英语：Raster graphics）或点阵图，是使用像素阵列(Pixel-array/Dot-matrix点阵)来表示的图像（摘自百度百科）。我们可以理解为是一个 bit 数组，每个元素存储数据的状态（由于每
转载
2023-08-12 15:20:13
86阅读
布隆过滤器(Bloom Filter)，是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。Bloom Filter原理当一个元素被加入集合时，通过K个散列函数将这个元素映射成一个位数组中的K个点，把它们置为1。检索时，我们只要看看这些点是不
转载
2023-08-20 14:57:17
105阅读
速记为什么使用布隆过滤器？ 1.为了省内存，提高速率 2.因为1所以布隆过滤器不需要百分百正确 3.说存在不一定存在，说不存在一定不存在 4.在解决缓存穿透的问题时，拦截了大部分的请求，只有小部分携带了大量信息的恶意请求访问到了数据库 5.不准确的原因是可能会和别的key发生冲突，所以位数组越大精确度越高，但是占用内存越多。所以在设置布隆过滤器的时候，这个容错率是多少是百分之一还是百分之十，是否牺
转载
2023-08-20 18:40:48
282阅读
布隆过滤器(Bloom Filter)详解 基本概念如果想判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。链表，树等等数据结构都是这种思路. 但是随着集合中元素的增加，我们需要的存储空间越来越大，检索速度也越来越慢。不过世界上还有一种叫作散列表（又叫哈希表，Hash table）的数据结构。它可以通过一个Hash函数将一个元素映射成一个位阵列（Bit A
转载
2024-06-25 08:48:40
33阅读
日常开发中，一个常见需求是判断一个元素是否在一个集合中。比如当你在浏览器中输入一个网址的时候，浏览器会判断网址是否在黑名单里。通常的解决方案是直接查询数据库，看看是否存在相关的记录，不过这往往会比较慢，于是我们又会引入缓存来提升速度，可是当数据比较多的时候，缓存会消耗大量的内存。有没有既速度快又节省内存的解决方案呢？本文介绍一种算法：布隆过滤器（Bloom filter[1]）。所谓布隆过滤器，是
转载
2024-02-20 19:15:01
40阅读
一种节省空间的概率数据结构布隆过滤器可以理解为一个不怎么精确的 set 结构，当你使用它的 contains 方法判断某个对象是否存在时，它可能会误判。但是布隆过滤器也不是特别不精确，只要参数设置的合理，它的精确度可以控制的相对足够精确，只会有小小的误判概率。当布隆过滤器说某个值存在时，这个值可能不存在；当它说不存在时，那就肯定不存在。打个比方，当它说不认识你时，肯定就不认识；当它说见过你时，可能
转载
2024-03-15 20:33:32
29阅读
布隆过滤器Bloom Filter布隆过滤器于1970年由布隆提出，它是一个空间效率高的概率型数据结构，可以用来告诉你：一个元素一定不存在或者可能存在。 优点：空间效率和查询时间都远远超过一般的算法（使用哈希表将占用大量的内存空间）。 缺点：有一定的误判率、删除困难。 它实质上是一个很长的二进制向量和一系列随机映射函数（Hash函数）组成，常用于网页黑名单系统、垃圾邮件过滤系统、爬虫的网址判重系统
redis发布订阅pubsubpublish推送端 （发布） 往通道中推送一条消息subscribe接收端（订阅） 从通道中获取消息，只能获取监听（订阅）后的消息，之前的消息接收不到，可以有多个订阅Redis事务所有命令 reids事务并不是真正的事务，他需要保证速度 比如有两个事务他们的顺序是这样的 这个时候，虽然是客户端1先开启的事务，但是2先提交的，所以先执行2，然后再执行1，所以1获取不到
转载
2024-02-19 12:14:42
34阅读
1.使用场景：推荐系统给用户推荐新闻，避免重复推送。需要考虑问题：从用户观看历史中筛选出没有看过的新闻进行推送，就需要数据库中频繁的使用exists进行查询，但是当用户量很大时，数据库很难顶住压力。解决方法：1.1.使用缓存？但是日子长了，会浪费很大空间，不是长久之计，不是很好的解决办法。1.2.这时布隆过滤器就可以很好的解决这个需求了，可以节约90%以上的空间，缺点就是稍微有那么一点不准确，存在
转载
2023-06-28 16:22:24
341阅读
redis布隆过滤器简单使用布隆过滤器无法直接在redis里使用，需要redis4.0以上的版本才能安装插件使用，当然也可以直接doc
转载
2023-09-15 19:40:23
43阅读
目录前言一、什么是布隆过滤器（Bloom Filter）二、布隆过滤器的原理三、布隆过滤器的工作流程四、布隆过滤器的实际应用场景五、Java实现布隆过滤器5.1、Guava5.2、Redission5.3、Apache Commons5.4、Jedis前言 想必大家都知道布隆过滤器，它是为了预防黑客发起大量非法请求的一种手段，例如Redis的缓
转载
2023-09-04 18:40:05
28阅读
