布隆过滤器主要用于判断一个元素是否在一个集合中。假如某个数据集很大 ,比如说在 Mysql 中 ,数据量很大 ,即使加上了索引 ,大量的查询也会影响性能 (缺页,底层IO等)而布隆过滤器就是为了解决这种问题 ,可以看到一个值通过多个 hash 函数在一个 bitmap 中进行 01赋值 .查询某个变量的时候我们只要看看这些点是不是都是 1 就可以大概率知道集合中有没有它了
- 如果这些点有任何一个
转载
2023-06-28 16:03:59
86阅读
文章目录布隆过滤器 - Redis 布隆过滤器，Guava 布隆过滤器 BloomFilter1、布隆过滤器的起源，用途2、布隆过滤器的概
原创
2022-05-26 08:23:00
1336阅读
# 项目方案：使用 Redis 布隆过滤器进行数据去重
## 背景介绍
在实际的软件开发过程中，经常需要对大量的数据进行快速的去重操作，以提高系统的性能和效率。传统的去重方式，如使用哈希集合或数据库进行判断，会消耗大量的内存和计算资源。
Redis 是一种高性能的内存数据库，提供了布隆过滤器（Bloom Filter）这一数据结构，可以高效地进行数据去重操作。本项目方案将介绍如何使用 Red
原创
2023-07-20 05:08:00
66阅读
速记为什么使用布隆过滤器？ 1.为了省内存，提高速率 2.因为1所以布隆过滤器不需要百分百正确 3.说存在不一定存在，说不存在一定不存在 4.在解决缓存穿透的问题时，拦截了大部分的请求，只有小部分携带了大量信息的恶意请求访问到了数据库 5.不准确的原因是可能会和别的key发生冲突，所以位数组越大精确度越高，但是占用内存越多。所以在设置布隆过滤器的时候，这个容错率是多少是百分之一还是百分之十，是否牺
转载
2023-08-20 18:40:48
282阅读
1.使用场景：推荐系统给用户推荐新闻，避免重复推送。需要考虑问题：从用户观看历史中筛选出没有看过的新闻进行推送，就需要数据库中频繁的使用exists进行查询，但是当用户量很大时，数据库很难顶住压力。解决方法：1.1.使用缓存？但是日子长了，会浪费很大空间，不是长久之计，不是很好的解决办法。1.2.这时布隆过滤器就可以很好的解决这个需求了，可以节约90%以上的空间，缺点就是稍微有那么一点不准确，存在
转载
2023-06-28 16:22:24
341阅读
什么是缓存穿透？出现Redis中不存在的缓存数据。解决方案：1：缓存一个空对象对查询结果为空的对象也进行缓存，如果是集合，可以缓存一个空的集合（非 null ），如果是缓存单个对象，可以通过字段标识来区分。这样避免请求穿透到后端数据库。同时，也需要保证缓存数据的时效性。这种方式实现起来成本较低，比较适合命中不高，但可能被频繁更新的数据。2：单独过滤处理对所有可能对应数据为空的 key 进行统一的存
转载
2023-11-07 01:15:31
279阅读
在进入正文之前，之前看到的有句话我觉得说得很好：Data structures are nothing different. They are like the bookshelves of your application where you can organize your data.
Different data structures will give you different fa
转载
2023-05-30 14:12:08
36阅读
文章目录布隆过滤器的在Redis中的作用布隆过滤器的场景什么是布隆过滤器布隆过滤器原理Redis 集成布隆过滤器下载安装继承Redis 布隆过滤器实战添加订单ID到过滤器判断订单是否存在Redission 布隆过滤器实战 布隆过滤器的在Redis中的作用在Redis 缓存击穿（失效）、缓存穿透、缓存雪崩怎么解决？中我们说到可以使用布隆过滤器避免「缓存穿透」。我们只要记录了每个用户看过的历史记录，
转载
2023-08-30 08:49:38
90阅读
本文目录本文导读一、什么是布隆过滤器（Bloom Filter）二、布隆过滤器的工作原理与设计思想三、Redis中的布隆过滤器1、安装 RedisBloom1.1、docker镜像安装1.2、直接编译2、Redis中布隆过滤器的使用四、布隆过滤器特点与使用场景总结本文导读本文系统性学习布隆过滤器（Bloom Filter），了解什么是布隆过滤器，布隆过滤器的原理，同时学习Redis中的布隆过滤器的
转载
2023-07-19 13:57:57
26阅读
python实现布隆过滤器及原理解析 布隆过滤器( BloomFilter )是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure），特点是高效地插入和查询，可以用来告诉你 “某样东西一定不存在或者可能存在”。这篇文章主要介绍了python实现布隆过滤器 ,需要的朋友可以参考下 在学习redis过程中提到一个缓存击穿的问
转载
2023-12-19 20:56:13
38阅读
你在么？在！一定在么？不在！一定不在么？你想要100%的准去性，还是99%的准确性附带较高的速度和较小的资源消耗。任何算法都是时间效益、资源消耗、准确性的平衡（1天的时间 10元的投入 生产10个单位的产品，还是 0.6天的时间 6元的投入 生产9个单位的产品）存在即合理，只是在不同场景下的不同选择。1.布隆过滤器百度百科
布隆过滤器（Bloom Filter）是1970年由布隆提出的
转载
2023-08-11 20:24:44
151阅读
一、前言 布隆过滤器的作用是判断一个元素是否存在于一个集合中。 比如有一个集合存储了全国所有人的身份证号码，那么该集合大小有十几亿的大小，此时如果判断一个身份证是否存在于该集合中，最简单也是最笨的办法就是遍历集合
转载
2023-06-14 22:17:17
382阅读
1.什么是布隆过滤器百度的概念：布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。 2.优点相比于其它的数据结构，布隆过滤器在空间和时间方面都有巨大的优势。布隆过滤器存储空间和插入/查询时间
转载
2023-07-05 23:49:12
212阅读
布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。本质上布隆过滤器是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure），特点是高效地插入和查询，可以用来
转载
2023-08-08 11:09:56
60阅读
在学习redis过程中提到一个缓存穿透的问题， 书中参考的解决方案之一是使用布隆过滤器， 那么就有必要来了解一下什么是布隆过滤器。在参考了许多博客之后， 写个总结记录一下。一、布隆过滤器简介什么是布隆过滤器？本质上布隆过滤器( BloomFilter )是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure），特点是高效地插入和查询，可以用来告诉你 “某
转载
2023-08-16 17:08:04
49阅读
目录1. 布隆过滤器(Bloom filter)2. 假阳性概率分析(Probability of false positives)哈希函数个数 k 的确定3. 时间/空间复杂度3.1 时间3.2 空间4. 优缺点4.1 优点4.2 缺点5. 常见应用场景6. 实现1. 布隆过滤器(Bloom filter)简单的说，布隆过滤器由一个长度为 m 的位数组和 k 个哈希函数组成。数组初始化为0。当添
转载
2023-08-08 08:48:54
211阅读
布隆过滤器是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别率和删除困难。但是布隆过滤器可以控制错误率。具体的布隆过滤器相关的内容可查找相关资料，非常详细，其优势就是占用内存比hash表要小得多，非常适合用于做过滤的场景Guava中的布隆过滤器Guava是google开发的java基础
转载
2023-07-07 16:58:56
88阅读
布隆过滤器，看名字就知道，不就是一个过滤器么！首先，过滤器大家都知道，像筛子啊，纱网啊等用来过滤大颗粒的工具。使用过滤器可以过滤一些不需要的东东，最终获取我们想要的。还记得某个矿泉水的广告么，全部工序经过20道以上的过滤流程！牛皮爆了！可能过滤沙子什么的也都算一层过滤吧！【微微一笑：呵呵】前几天，看Redis方面的东西的时候，看到了一个结构，叫做BitMap，等看完之后，我打呼：好家伙
转载
2023-09-19 21:46:33
8阅读
布隆过滤器（Bloom Filter），是一个很长的二进制向量和一系列随即映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中，它的空间效率和查询时间都远超一般的算法，但是有一定的误识别率和删除困难。原理当一个元素被加入到集合中时，通过k个散列函数将这个元素映射称一个位数组的k个点，把他们设置为1。检索时，我们只需要看 这些点是否都是1就知道集合中有没有了；如果这些点中有任何一个0，则被检索元
转载
2023-08-12 15:19:58
167阅读
大家都知道,在计算机中,IO一直是一个瓶颈,很多框架以及技术甚至硬件都是为了降低IO操作而生,今天聊一聊过滤器,先说一个场景: 我们业务后端涉及数据库,当请求消息查询某些信息时,可能先检查缓存中是否有相关信息,
转载
2023-08-10 12:17:52
876阅读
