文章目录布隆过滤器 - Redis 布隆过滤器，Guava 布隆过滤器 BloomFilter1、布隆过滤器的起源，用途2、布隆过滤器的概
原创
2022-05-26 08:23:00
1336阅读
一种节省空间的概率数据结构布隆过滤器可以理解为一个不怎么精确的 set 结构，当你使用它的 contains 方法判断某个对象是否存在时，它可能会误判。但是布隆过滤器也不是特别不精确，只要参数设置的合理，它的精确度可以控制的相对足够精确，只会有小小的误判概率。当布隆过滤器说某个值存在时，这个值可能不存在；当它说不存在时，那就肯定不存在。打个比方，当它说不认识你时，肯定就不认识；当它说见过你时，可能
转载
2024-02-27 10:28:36
81阅读
布隆过滤器概念及其公式推导布隆过滤器概念数据如何存入布隆过滤器误判情况实际应用面试题公式推导误判概率即失误率的证明和计算其他使用场景布隆过滤器概念数据如何存入布隆过滤器布隆过滤器是由一个很长的二进制矢量和一系列哈希函数组成的。二进制矢量本质是一个位数组：数组的每个元素都只占1bit空间，并且每个元素只能为0或1。布隆过滤器还拥有k个哈希函数，当一个元素加入布隆过滤器中的时候，会使用k个哈希函数对其
转载
2023-09-25 20:26:33
57阅读
一、什么是布隆过滤器？布隆过滤器(英语:Bloom Filter)是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。 二、布隆过滤器的使用场景网页爬虫对URL的去重，避免爬取相同的URL地址；反垃圾邮件，从数十亿个垃圾邮件列表中判断某邮箱是
转载
2023-08-21 16:04:58
80阅读
介绍二进制存储特点查询速度快解决问题缓存穿透黑名单等
原创
2022-12-13 10:25:01
413阅读
算法（3）---布隆过滤器原理
开发一个电商项目，因为数据量一直在增加(已达亿级)，所以需要重构之前开发好的秒杀功能，为了更好的支持高并发，在验证用户是否重复购买的环节，就考虑用布隆过滤器。也顺便更加深入的去了解下布隆过滤器的原理，感觉还是蛮有意思的，这一连串的公式不静下心来思考，很容易被绕晕。 一、概述1、什么是布隆过滤器本质上布隆过滤器是一种数据结构，比较巧妙的概率型数据
转载
2023-10-12 22:29:13
40阅读
简介：布隆过滤器是一种实现去重的思想，不属于redis，它也可以在其他地方单独使用。布隆过滤器也是做去重的，那和Hyperloglog有什么区别.Hyperloglog用来来估值，有偏差，它里面主要提供了两个方法：pfaddpfcount 但是没有判断是否包含的命令，例如pfexist，pfcontains这样的命令。举个例子:在刷进入头条的时候
转载
2023-07-29 12:52:14
144阅读
一、什么是布隆过滤器布隆过滤器（Bloom Filter）是一个很长的二进制向量和一系列随机映射函数。它是一种数据结构，比较巧妙的概率型数据结构（probabilistic data structure），特点是高效的插入和查询，可以用于检索一个元素是否在一个集合中。优点：相比于传统的list、set、map等数据结构，它更高效、占用空间更少。 缺点：返回的结果是概率性（存在误差），不是确切的。二
转载
2023-07-28 22:23:52
1281阅读
为什么需要布隆过滤器想象一下遇到下面的场景你会如何处理：手机号是否重复注册用户是否参与过某秒杀活动伪造请求大量 id 查询不存在的记录，此时缓存未命中,如何避免缓存穿透针对以上问题常规做法是：查询数据库，数据库硬扛，如果压力并不大可以使用此方法，保持简单即可。改进做法：用 list/set/tree 维护一个元素集合，判断元素是否在集合内，时间复杂度或空间复杂度会比较高。如果是微服务的话可以用 r
转载
2024-02-23 21:09:19
239阅读
布隆过滤器（Bloom）是一种可以判断某个数据是否存在的数据结构，或者也可以说是判断集合中是否包含某个成员的数据结构。布隆过滤器的特点如下：判断时间与数据个数无关（O(1)）空间效率非常好无法删除元素偶尔会出错（! ）“偶尔会出错”这一条貌似违背了我们关于数据结构的常识，不过面对大量数据时，我们的目的是缩小查找的范围，因此大多数情况下，少量的误判并不会产生什么问题。此外，布隆过滤器的误判都是假阳性
布隆过滤器布隆过滤器是一种概率空间高效的数据结构。它与hashmap非常相似，用于检索一个元素是否在一个集合中。它在检索元素是否存在时，能很好地取舍空间使用率与误报比例。正是由于这个特性，它被称作概率性数据结构（probabilistic data structure）。空间效率我们来仔细地看看它的空间效率。如果你想在集合中存储一系列的元素，有很多种不同的做法。你可以把数据存储在hashmap，随
转载
2023-09-16 21:56:50
60阅读
也可以看看这篇文章： 常见URL过滤方法1 直接查询比较 即假设要存储url A，在入库前首先查询url库中是否存在 A,如果存在，则url A 不入库，否则存入url库。这种方法准确性高，但是一旦数据量变大，占用的存储空间也变大，同时，由于要查库，数据一多，查询时间变长，存储效率下降。2 基于hash的存储 对于给定的url，通过建立的hash函数，来获得对应的hash值，并将该值存入库中。当
转载
2023-08-08 14:21:03
146阅读
其实对布隆过滤器的了解是因为“布隆”这个英雄！哈哈哈哈哈哈。 布隆过滤器的使用场景： 我们都知道，我们只要在浏览器的地址栏中输入url就可以访问自己想要访问的资源了，比例如http://www.baidu.com 但是有些网站你前一阵子还可以访问，但是最近访问的时候发现访问时报404，这时什么原因呢？也许是服务器被开发人员主动的关闭了，也许该网站所提供的资源不符合社会主义核心
转载
2023-08-08 08:47:38
172阅读
Bloom Filter是一种空间利用率很高的随机数据结构，它用位数组很简洁地表示一个集合，并能判断一个元素是否包含于该集合。Bloom Filter用一定的代价换取这种高效:在判断一个元素是否包含于该集合时，有一定的几率(即误判率 false positive rate)产生误判(false positive)。因此，Bloom Filter不合适那些“零错误”的应用场合。在能容忍低错误率的应用
原创
2013-10-08 17:09:24
1992阅读
布隆过滤器 它实际上是一个很长的二进制向量和一系列随机映射函数布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。优点： 相比于其它的数据结构，布隆过滤器在空间和时间方面都有巨大的优势。布隆过滤器存储空间和插入/查询时间都是常数
原创
2016-05-12 23:22:48
851阅读
//BloomFilter.h
#pragma once
#ifndef __BLOOM_FILTER_H__
#define __BLOOM_FILTER_H__
#include <string>
#include "BitMap.hpp"
#include "HashFuncer.h"
template &
原创
2016-05-13 22:05:04
567阅读
什么是布隆过滤器布隆过滤器（Bloom Filter）是1970年由布隆提出的。它实际上是一个很长的二进制向量和一系列随机映射函数。布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都远远超过一般的算法，缺点是有一定的误识别率和删除困难。实现思想 如果想要判断一个元素是不是在一个集合里，一般想到的是将所有元素保存起来，然后通过比较确定。链表，树等等
原创
2016-07-04 23:15:30
836阅读
如果想判断一个元素是不是在一个集合里，一般想到的是将集合中所有元素保存起来，然后通过比较确定。链表、树、散列表（又叫哈希表，Hash table）等等数据结构都是这种思路。但是随着集合中元素的增加，我们需要的存储空间越来越大。同时检索速度也越来越慢，上述三种结构的检索时间复杂度分别为：O(n), O
原创
2021-08-17 15:02:36
150阅读
from bloom_filter import BloomFilter # 生成一个装1亿大小的 bloom = BloomFilter(max_elements=100000000, error_rate=0.1) # 向bloom添加URL bloom.add('https://www.xxx
转载
2019-12-30 22:43:00
133阅读
2评论
#0 布隆过滤器 布隆过滤器由Burton Howard Bloom于1970年提出。一个布隆过滤器代表一个集合，可以判断一个元素是否在集合中，但这种判断不是精准的判断，即存在误判率，具体误判率是多少取决布隆过滤器结构的设计。 #1 哈希函数 哈希函数的输入域可以是非常大的范围，比如，任意一个字符串 ...
转载
2021-07-30 10:12:00
289阅读
2评论
