布隆过滤器(Bloom Filter)
在允许一定的错误率的情况下,用于判断一个元素是否属于一个集合。

bloom fliter是一种空间效率很高的随机数据结构,初始状态时,bloom filter是一个包含m位的位数组(值为0),当有元素写入时,通过k个hash函数将这个元素映到这个位数组中,映射的位置设置为1。当判断一个元素是否存在时,用同样的方式进行映射,当映射的位置在这个位数组的值全部为1时,则认为该元素是存在的。

举例:
假设将x,y,z三个关键信息存入表中,判断w是否存在。

hbase cell级别ttl hbase bloomfilter_大数据

写入数据。x,y,z存入时,通过hash函数获得对应的位向量,写入到位数组中。
查找数据。对w同样进行hash函数获取对应的位向量,判断位数组中对应的位置是否全为1
如果是,则表明w存在表中
如果不是,则表明w不存在表中

Hbase中使用布隆过滤器
布隆过滤是Hbase系统中的高级功能,它能够减少特定访问模式下的查询时间。但是,由于这种模式增加了内存和存储的负担,这个模式被默认为关闭状态。
由于列的数量远远多于行的数量(除非每行只有一列),使用最后一个选项ROWCOL会占用大量的空间。与仅仅只有行的模式相比,行/列组合形式的粒度无疑更细。

布隆过滤器的作用主要用于提升Hbase的读性能,但是会牺牲一定的存储空间。
HBase利用Bloomfilter来提高随机读(Get)的性能,对于顺序读(Scan)而言,设置Bloomfilter是没有作用的(0.92以后,如果设置了bloomfilter为ROWCOL,对于指定了qualifier的Scan有一定的优化,但不是那种直接过滤文件,排除在查找范围的形式)

Bloomfilter是一个列族(cf)级别的配置属性,如果你在表中设置了Bloomfilter,那么HBase会在生成StoreFile时包含一份Bloomfilter结构的数据,称其为MetaBlock;MetaBlock与DataBlock(真实的KeyValue数据)一起由LRUBlockCache维护。所以,开启Bloomfilter会有一定的存储及内存cache开销。
对于某个region的随机读,HBase会遍历读memstore及storefile(按照一定的顺序),将结果合并返回给客户端。如果你设置了Bloomfilter,那么在遍历读storefile时,就可以利用Bloomfilter,忽略某些Storefile。

支持的布隆过滤器类型

类型    描述
NONE:不使用布隆过滤器
ROW:行键使用布隆过滤器过滤
ROWCOL :列键使用布隆过滤器过滤

在shell中建表时指定布隆过滤器

create 'test_table',{NAME=>'test_col_family',VERSIONS=>1,BLOCKCACHE=>true,
 BLOOMFILTER=>'ROW',COMPRESSION=>'SNAPPY',TTL => ' 259200 '},
 {SPLITS => ['1','2','3','4','5','6','7','8','9','a','b','c','d','e','f']}