一种节省空间的概率数据结构布隆过滤器可以理解为一个不怎么精确的 set 结构，当你使用它的 contains 方法判断某个对象是否存在时，它可能会误判。但是布隆过滤器也不是特别不精确，只要参数设置的合理，它的精确度可以控制的相对足够精确，只会有小小的误判概率。当布隆过滤器说某个值存在时，这个值可能不存在；当它说不存在时，那就肯定不存在。打个比方，当它说不认识你时，肯定就不认识；当它说见过你时，可能
转载
2024-03-15 20:33:32
29阅读
布隆过滤器 基础资料梳理）1. 基本概念2. 布隆过滤器 算法实现2.1 guava 实现2.2 hutool 实现1. 基本概念布隆过滤器（英语：Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。如果想判断一个元
日常开发中，一个常见需求是判断一个元素是否在一个集合中。比如当你在浏览器中输入一个网址的时候，浏览器会判断网址是否在黑名单里。通常的解决方案是直接查询数据库，看看是否存在相关的记录，不过这往往会比较慢，于是我们又会引入缓存来提升速度，可是当数据比较多的时候，缓存会消耗大量的内存。有没有既速度快又节省内存的解决方案呢？本文介绍一种算法：布隆过滤器（Bloom filter[1]）。所谓布隆过滤器，是
转载
2024-02-20 19:15:01
40阅读
LOL：布隆才是联盟最尽职的辅助，一个盾技能全都挡虽然说辅助一哥的位置经常是锤石、泰坦之类的英雄，不过从尽职尽责上面来说，辅助一哥的位置绝对应该是布隆的，他在保护AD方面绝对是足够尽职了，可以将所有打向AD的伤害给挡下来，那我们就看看布隆的盾能挡住多少技能吧！和布隆的盾类似的就是亚索的风墙了，不过亚索风墙只能抵挡一些有弹道的飞行物，普攻的子弹也会算城市飞行物，所以才能被挡下来，潘森的E明确表示挡住
转载
2024-02-01 22:22:53
48阅读
关于BloomFilter先要了解什么是hash函数。哈希函数布隆过滤器离不开哈希函数，所以在这里有必要介绍下哈希函数的概念，如果你已经掌握了，可以直接跳到下一小节。哈希函数的性质:经典的哈希函数都有无限大的输入值域(无穷大)。经典的哈希函数的输出域都是固定的范围(有穷大，假设输出域为S)当给哈希函数传入相同的值时，返回值必一样当给哈希函数传入不同的输入值时，返回值可能一样，也可能不一样。输入值会
转载
2024-10-08 20:31:12
34阅读
文章目录1、什么是布隆过滤器布隆过滤器的优缺点布隆过滤器的优点布隆过滤器的缺点2、布隆过滤器的使用场景3、布隆过滤器的原理3.1 数据结构3.2 空间计算3.3 增加元素3.4 查询元素3.5 修改元素3.6 删除元素4、Redis集成布隆过滤器4.1 版本要求4.2 安装&编译4.2.1 下载插件压缩包4.2.2 解压4.2.3 编译插件4.3 Redis集成4.3.1 Redis配置
今天碰到个业务，他的 Redis 集群有个大 Value 用途是作为布隆过滤器，但沟通的时候被小怼了一下，意思大概是 “布隆过滤器原理都不懂，还要我优化？” 。技术菜被人怼认了、怪不得别人，自己之前确实只是听说过这个，但是没深入了解过，趁这个机会补充一下知识。在进入正文之前，之前看到的有句话我觉得说得很好：Data structures are nothing different. Th
前言在「面试」Redis 这一篇就够了 这篇文中有提到用布隆过滤器来解决缓存穿透。那么，今天，他来了，他来了，他脚踏七彩祥云来了(手动狗头)是什么？弗雷尔卓德之心布隆是 LOL 中偏辅助的英雄，下面给大家带来他的技能和出装介绍，这时一个拖鞋啪的一声打在了我的脸上......布隆过滤器(Bloom Filter) 是一种节省空间的概率数据结构，由 Burton Howard Bloom 在 1970
转载
2023-11-21 10:05:51
58阅读
文章目录布隆过滤器的在Redis中的作用布隆过滤器的场景什么是布隆过滤器布隆过滤器原理Redis 集成布隆过滤器下载安装继承Redis 布隆过滤器实战添加订单ID到过滤器判断订单是否存在Redission 布隆过滤器实战 布隆过滤器的在Redis中的作用在Redis 缓存击穿（失效）、缓存穿透、缓存雪崩怎么解决？中我们说到可以使用布隆过滤器避免「缓存穿透」。我们只要记录了每个用户看过的历史记录，
转载
2023-08-30 08:49:38
90阅读
常见的一台MySql服务器的并发量为600左右redis数据类型：(9种) string、hash、list、set、zset、bitmap、hyperloglogs、geo、streams爬虫判断url是否爬取过？url地址过滤方法布隆过滤器BloomFilter本质上布隆过滤器是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure），特点是高效地插入
转载
2023-11-12 08:19:16
63阅读
什么是布隆过滤器布隆过滤器是一种内存友好的数据结构，它可以高效地判断一个元素是否存在于一个集合中，以及大幅减少磁盘/数据库等IO操作。与哈希表和树等数据结构不同，它可以实现非常高的查找速度和存储效率，适用于需要快速并且高效地处理大数据集的场景。布隆过滤器原理布隆过滤器的基本思想是使用多个哈希函数对元素进行多次哈希，然后在对应的位上置位。其中K个互不相关的哈希函数会把元素映射成K个整数值，这些整数值
转载
2023-06-26 23:02:40
90阅读
# 使用 Redis 实现布隆过滤器
## 引言
在现代数据处理和存储中，有时我们需要在性能和内存之间找到平衡。布隆过滤器（Bloom Filter）是一种空间效率极高的概率数据结构，用于测试一个元素是否在一个集合里面。它支持快速查询，但可能会出现假阳性（即判定一个元素在集合中，但实际上不在）。Redis 是一个优秀的键值存储系统，它支持多种数据结构，布隆过滤器便是其中之一。本文将介绍如何在
原创
2024-09-27 08:02:04
63阅读
布隆过滤器是一种概率型数据结构，用于判断某个元素是否在一个集合中。它能够快速检索，尤其在处理大量数据时，表现出极高的效率。接下来，我将分享一个关于“Python布隆过滤器”的应用实践，以及在实施过程中遇到的挑战与解决方案。
### 业务场景分析
在一个大数据环境下，尤其是社交网络和电子商务领域，数据流量极大，快速判断用户请求的有效性是重中之重。为此，我们需要避免重复的数据库查询，提升响应速度。
前言前面在说缓存穿透的时候说到解决方案的时候正好有提到布隆过滤器，正好现在就来说一说这个布隆过滤器是怎么一回事，在说布隆过滤器之前可能需要先说下位图算法位图位图（Bitmap），又称栅格图（英语：Raster graphics）或点阵图，是使用像素阵列(Pixel-array/Dot-matrix点阵)来表示的图像（摘自百度百科）。我们可以理解为是一个 bit 数组，每个元素存储数据的状态（由于每
转载
2023-08-12 15:20:13
86阅读
布隆过滤器(Bloom Filter)，是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。Bloom Filter原理当一个元素被加入集合时，通过K个散列函数将这个元素映射成一个位数组中的K个点，把它们置为1。检索时，我们只要看看这些点是不
转载
2023-08-20 14:57:17
105阅读
# Redis 布隆过滤器的删除机制
## 引言
Redis 是一个开源的内存数据结构存储系统，广泛用于高性能的数据库、缓存和消息代理。布隆过滤器是一种空间效率极高的数据结构，用于检测一个元素是否在一个集合中。尽管布隆过滤器常用于判断元素的存在性，但其本身并不支持直接删除元素。这是因为布隆过滤器使用哈希函数映射元素到位数组中，因此无法仅通过删除某个位来确定地删除一个元素。为了解决这个问题，我们
Redis 布隆キー是一种高效的数据结构，用于判断某个元素是否在一个集合中。它利用布隆过滤器的原理，将内存使用效率最大化，同时降低查找时间。接下来，我将分享解决“Redis 布隆キー”问题的过程，涵盖环境配置、编译过程、参数调优、定制开发、错误集锦和生态集成。
## 环境配置
在开始之前，我需要配置开发环境。这个步骤涉及到Redis和布隆过滤器库的安装。在此，我使用了思维导图来展示所需的环境组
我们在使用新闻客户端看新闻时，它会给我们不停地推荐新的内容，它每次推荐时要去重，去掉那些已经看过的内容。问题来了，新闻客户端推荐系统如何实现推送去重的？ 会想到服务器记录了用户看过的所有历史记录，当推荐系统推荐新闻时会从每个用户的历史记录里进行筛选，过滤掉那些已经存在的记录。问题是当用户量很大，每个用户看过的新闻又很多的情况下，这种方式，推荐系统的去重工作在性能上跟的上么？
转载
2024-10-16 21:32:29
29阅读
布隆过滤器概念及其公式推导布隆过滤器概念数据如何存入布隆过滤器误判情况实际应用面试题公式推导误判概率即失误率的证明和计算其他使用场景 布隆过滤器概念数据如何存入布隆过滤器布隆过滤器是由一个很长的二进制矢量和一系列哈希函数组成的。二进制矢量本质是一个位数组：数组的每个元素都只占1bit空间，并且每个元素只能为0或1。布隆过滤器还拥有k个哈希函数，当一个元素加入布隆过滤器中的时候，会使用k个哈希函数
转载
2024-10-17 18:55:47
28阅读
