什么是布隆过滤器
布隆过滤器(Bloom Filter)是1970年由布隆提出的,布隆过滤器是一种数据结构,特点是高效地插入和查询,这个算法无需存储该元素(key)的值就可以判断某个元素是否在某个集合中。它更高效、占用空间更少,但是缺点是其返回的结果是概率性的,而不是确切的。
实现原理
布隆过滤器是一个 bit 向量或者说 bit 数组,如下图:
实际上它是一个很长的二进制向量和一系列的随机映射函数(哈希函数)组成。我们假如二进制向量的长度为9,哈希函数的个数为3的布隆过滤器,针对元素X,三个不同的哈希函数分别生成的哈希值为1,4,8。则上图转变为:
同理,我们再存一个元素Y,如果哈希函数返回 4,6,9 的话,图变为:
值得注意的是,4 这个 bit 位由于两个值的哈希函数都返回了这个 bit 位,因此它被覆盖了。此时如果进行查询元素Z是否存在,三个哈希函数返回值为1,5,8,但是第5 bit 位上的值为 0,说明没有任何一个值映射到这个 bit 位上,因此可以很确定地说 元素Z这个值不存在。
而当我们需要查询元素X 这个值是否存在的话,那么哈希函数必然会返回 1、4、8,然后我们检查发现这三个 bit 位上的值均为 1,那么元素X 这个值可能存在,但不是一定存在的,因为随着增加的值越来越多,被置为 1 的 bit 位也会越来越多,这样某个值元素T即使没有被存储过,但是万一哈希函数返回的三个 bit 位都被其他元素置为了 1 ,那么程序还是会判断 元素T这个值存在。
注意:
- 过小的布隆过滤器很快所有的 bit 位均为 1,那么查询任何值都会返回“可能存在”,起不到过滤的目的了。 布隆过滤器的长度会直接影响误报率,布隆过滤器越长其误报率越小。
- 另外,哈希函数的个数也需要权衡,个数越多则布隆过滤器 bit 位置位 1 的速度越快,且布隆过滤器的效率越低;但是如果太少的话,那我们的误报率会变高。
手动java代码实现布隆过滤器
可参考:
使用Guava提供的相关类库(推荐)
首先我们需要在项目中引入 Guava 的依赖:
<dependency>
<groupId>com.google.guava</groupId>
<artifactId>guava</artifactId>
<version>24.1.1-jre</version>
</dependency>
实际使用
import com.google.common.hash.BloomFilter;
import com.google.common.hash.Funnels;
public class GuavaTest01 {
public static void main(String[] args) {
// 创建布隆过滤器对象,长度为1000,误判率是0.01
BloomFilter<Integer> filter = BloomFilter.create(
Funnels.integerFunnel(),
1000,
0.01);
// 判断指定元素100和200是否存在
System.out.println("添加元素之前: " + filter.mightContain(100));
System.out.println("添加元素之前: " + filter.mightContain(200));
// 将元素100和200添加进布隆过滤器
filter.put(100);
filter.put(200);
// 判断指定元素100和200是否存在
System.out.println("添加元素之后: " + filter.mightContain(100));
System.out.println("添加元素之后: " + filter.mightContain(200));
}
}
运行结果如下:
添加元素之前: false
添加元素之前: false
添加元素之后: true
添加元素之后: true