1首次读写流程图
2 首次写基本流程
(1)客户端发起PUT请求,Zookeeper返回hbase:meta所在的region server
(2)去(1)返回的server上,根据rowkey去hbase:meta中获取即将进行写操作的region server,并将相关的信进行本地缓存
(3)客户端把put请求发送到(2)返回的HRegion server上,根据HRegion server的架构图,细化如下:
- 首先写入WAL(写入到磁盘文件中)
- 根据Rowkey获取HRegion, 根据column获取HStore
- 将数据写入HStore的MemStore
- 持续写入MemStore时,如果MemStore满了,将其加入到Flush队列,由单独的线程flush到磁盘上,形成Storefile
注:客户端进行后续读写时, 首先查询本地缓存获取meta表的位置。
3 flush时机(触发条件)
- MemStore级别限制
Region中任意一个MemStore的大小超过上限(hbase.hregion.memstore.flush.size,默认128MB),会触发MemStore刷新
- HRegion 级别限制
当Region中所有的MemStore的总和大小超过上限(hbase.hregion.memstore.block.multiplier * hbase.hregion.memstore.flush.size,默认 2* 128M = 256M),会触发MemStore刷新
- HRegion Server级别限制
部分MemStore刷新。刷新的顺序是按照MemStore的大小排序,先刷新最大的MemStore所在的Region,再刷新次大的,直至总体Memstore内存使用量低于阈值(hbase.regionserver.global.memstore.lowerLimit * hbase_heapsize,默认38%的JVM内存使用量)。
- HRegion Server log限制
当一个Region Server中HLog数量达到上限(可通过参数hbase.regionserver.maxlogs配置)时,系统会选取最早的一个 HLog对应的一个或多个Region进行flush
- MemStore 定时flush
默认周期为1小时,确保Memstore不会长时间没有持久化。为避免所有的MemStore在同一时间都进行flush导致的问题,定期的flush操作有20000左右的随机延时。
- client手动flush
用户可以通过shell命令 flush ‘tablename’或者flush ‘region name’分别对一个表或者一个Region进行flush。
注意:MemStore进行flush的最小单位是HRegion
问题:为什么不以MemStore为单位进行flush呢?
难道目前HLog只细化到rowkey级别?待考证) 而且进行scan操作时就不统一了(个人认为这不是问题:以为scan的结果肯定是MemStore和HFile结果的总和,所以不管有没有被flush出来,都能获取到结果,待考证)
MemStore每次进行flush操作都会产生新的HFile,而不是修改现有的文件
memstoreFlush出来的文件是经过压缩的,比如memstoreFlushSize设置为640M,真正flush出来的storefile的大小可能是50M左右,没错,压缩比例就是这么大。
4 flush流程
为了减少flush过程对读写的影响,HBase采用了类似于两阶段提交的方式,将整个flush过程分为三个阶段:
(1)prepare阶段:遍历当前Region中的所有Memstore,将Memstore中当前数据集kvset做一个快照snapshot,然后再新建一个新的kvset。后期的所有写入操作都会写入新的kvset中,而整个flush阶段读操作会首先分别遍历kvset和snapshot,如果查找不到再会到HFile中查找。prepare阶段需要加一把updateLock对写请求阻塞,结束之后会释放该锁。因为此阶段没有任何费时操作,因此持锁时间很短。
(2)flush阶段:遍历所有Memstore,将prepare阶段生成的snapshot持久化为临时文件,临时文件会统一放到目录.tmp下。这个过程因为涉及到磁盘IO操作,因此相对比较耗时。
(3)commit阶段:遍历所有的Memstore,将flush阶段生成的临时文件移到指定的ColumnFamily目录下,针对HFile生成对应的storefile和Reader,把storefile添加到HStore的storefiles列表中,最后再清空prepare阶段生成的snapshot。
5. Flush对读写的影响
大部分Memstore Flush操作都不会对业务读写产生太大影响,比如这几种场景:HBase定期刷新Memstore、手动执行flush操作、触发Memstore级别限制、触发HLog数量限制以及触发Region级别限制等,这几种场景只会阻塞对应Region上的写请求,阻塞时间很短,毫秒级别。
然而一旦触发Region Server级别限制导致flush,就会对用户请求产生较大的影响。会阻塞所有落在该Region Server上的更新操作,阻塞时间很长,甚至可以达到分钟级别。一般情况下Region Server级别限制很难触发,但在一些极端情况下也不排除有触发的可能。
参考文献:https://mapr.com/blog/in-depth-look-hbase-architecture/
http://hbasefly.com/2016/03/23/hbase-memstore-flush/