1首次读写流程图

HBASE null写入 hbase写入过程_临时文件

2 首次写基本流程

 

(1)客户端发起PUT请求,Zookeeper返回hbase:meta所在的region server

(2)去(1)返回的server上,根据rowkey去hbase:meta中获取即将进行写操作的region server,并将相关的信进行本地缓存

(3)客户端把put请求发送到(2)返回的HRegion server上,根据HRegion server的架构图,细化如下:

HBASE null写入 hbase写入过程_HBASE null写入_02

 

  • 首先写入WAL(写入到磁盘文件中)

HBASE null写入 hbase写入过程_临时文件_03

  • 根据Rowkey获取HRegion, 根据column获取HStore
  • 将数据写入HStore的MemStore

HBASE null写入 hbase写入过程_客户端_04

  • 持续写入MemStore时,如果MemStore满了,将其加入到Flush队列,由单独的线程flush到磁盘上,形成Storefile

 

注:客户端进行后续读写时, 首先查询本地缓存获取meta表的位置。 

 

3 flush时机(触发条件) 

 

  • MemStore级别限制

   Region中任意一个MemStore的大小超过上限(hbase.hregion.memstore.flush.size,默认128MB),会触发MemStore刷新

  • HRegion 级别限制

   当Region中所有的MemStore的总和大小超过上限(hbase.hregion.memstore.block.multiplier * hbase.hregion.memstore.flush.size,默认 2* 128M = 256M),会触发MemStore刷新

  • HRegion Server级别限制

部分MemStore刷新。刷新的顺序是按照MemStore的大小排序,先刷新最大的MemStore所在的Region,再刷新次大的,直至总体Memstore内存使用量低于阈值(hbase.regionserver.global.memstore.lowerLimit * hbase_heapsize,默认38%的JVM内存使用量)。

  • HRegion Server log限制

当一个Region Server中HLog数量达到上限(可通过参数hbase.regionserver.maxlogs配置)时,系统会选取最早的一个 HLog对应的一个或多个Region进行flush

  • MemStore 定时flush

   默认周期为1小时,确保Memstore不会长时间没有持久化。为避免所有的MemStore在同一时间都进行flush导致的问题,定期的flush操作有20000左右的随机延时。

  • client手动flush

用户可以通过shell命令 flush ‘tablename’或者flush ‘region name’分别对一个表或者一个Region进行flush。

  

   注意MemStore进行flush的最小单位是HRegion

 

  问题:为什么不以MemStore为单位进行flush呢?

难道目前HLog只细化到rowkey级别?待考证) 而且进行scan操作时就不统一了(个人认为这不是问题:以为scan的结果肯定是MemStore和HFile结果的总和,所以不管有没有被flush出来,都能获取到结果,待考证

HBASE null写入 hbase写入过程_客户端_05

 

MemStore每次进行flush操作都会产生新的HFile,而不是修改现有的文件

       memstoreFlush出来的文件是经过压缩的,比如memstoreFlushSize设置为640M,真正flush出来的storefile的大小可能是50M左右,没错,压缩比例就是这么大。

      

4 flush流程

 

  为了减少flush过程对读写的影响,HBase采用了类似于两阶段提交的方式,将整个flush过程分为三个阶段: 

  (1)prepare阶段:遍历当前Region中的所有Memstore,将Memstore中当前数据集kvset做一个快照snapshot,然后再新建一个新的kvset。后期的所有写入操作都会写入新的kvset中,而整个flush阶段读操作会首先分别遍历kvset和snapshot,如果查找不到再会到HFile中查找。prepare阶段需要加一把updateLock对写请求阻塞,结束之后会释放该锁。因为此阶段没有任何费时操作,因此持锁时间很短。

  (2)flush阶段:遍历所有Memstore,将prepare阶段生成的snapshot持久化为临时文件,临时文件会统一放到目录.tmp下。这个过程因为涉及到磁盘IO操作,因此相对比较耗时。

  (3)commit阶段:遍历所有的Memstore,将flush阶段生成的临时文件移到指定的ColumnFamily目录下,针对HFile生成对应的storefile和Reader,把storefile添加到HStore的storefiles列表中,最后再清空prepare阶段生成的snapshot。

 

 5. Flush对读写的影响

  大部分Memstore Flush操作都不会对业务读写产生太大影响,比如这几种场景:HBase定期刷新Memstore、手动执行flush操作、触发Memstore级别限制、触发HLog数量限制以及触发Region级别限制等,这几种场景只会阻塞对应Region上的写请求,阻塞时间很短,毫秒级别。

然而一旦触发Region Server级别限制导致flush,就会对用户请求产生较大的影响。会阻塞所有落在该Region Server上的更新操作,阻塞时间很长,甚至可以达到分钟级别。一般情况下Region Server级别限制很难触发,但在一些极端情况下也不排除有触发的可能。

 

参考文献:https://mapr.com/blog/in-depth-look-hbase-architecture/

      http://hbasefly.com/2016/03/23/hbase-memstore-flush/