ArenaAllocation,是一种GC优化技术,它可以有效地减少因内存碎片导致的FullGC,从而提高系统的整体性能。本文介绍ArenaAllocation的原理及其在Hbase中的应用-MSLAB。
背景
假设有1G内存,我顺序创建了1百万个对象,每个对象大小1K,Heap会被渐渐充满且每个对象以创建顺序相邻。此时,如果我释放50万个奇数对象,即1357后,剩余空间会多出500M,而这段内存空间就不再连续了。问题出现?
如果我打算new一个2K大小的对象,JVM将无从分配它,因为找不到连续可用的内存空间来容纳这个对象,就算Heap当时还有500M的剩余空间,也无能为力。最终,JVM会选择触发FullGC重新压缩内存使之连续,然后再分配。
结论:触发FullGC,并不只有在内存满或达到触发比例的时候,还有可能是因为内存碎片。
产生内存碎片的主要原因是:
分配的大小不一。
分配的空间不连续。
如何检测因内存碎片触发了FullGC?
通过启动java时,添加-XX:PrintFLSStatistics=1参数来打印每次gc前后的Heap余量。较大的余量,可以怀疑Heap中存在内存碎片过多。
另外这篇blog有更详细的图文解释:
HBase中的内存碎片
HBase为了提高写入性能,为每个region添加了一个内存写缓存-Memstore。当单个Memstore的大小达到memstore.size或Heap内存达到hbase.regionserver.global.memstore.upperLimit/lowerLimit百分比限制时,就会触发整个region的flush,最终将所有数据写入HDFS并释放region下所有Memstores占用的内存(GC不一定及时)。
Regionflush导致内存碎片的示意图
左边五颜六色的是不同的region在内存中的位置,它是无序的,因为客户端的请求是无规律的。此时假设×××的region触发了flush,那么右边将会出现与之对应的多个空洞,即内存碎片。这张图以region为粒度,仅仅是为了更直观地表示这种现象。真实场景中,这些空洞是更细粒度的KeyValue级对象,它能直接导致创建对象时触发FullGC。
ArenaAllocation
ArenaAllocation是一种非传统的内存管理方法。它通过顺序化分配内存,内存数据分块等特性使内存碎片粗化,有效改善了内存碎片导致的FullGC问题。
它的原理:
创建一个大小固定的bytes数组和一个偏移量,默认值为0。
分配对象时,将新对象的databytes复制到数组中,数组的起始位置是偏移量,复制完成后为偏移量自增data.length的长度,这样做是防止下次复制数据时不会覆盖掉老数据(append)。
当一个数组被充满时,创建一个新的数组。
清理时,只需要释放掉这些数组,即可得到固定的大块连续内存。
在ArenaAllocation方案中,数组的大小影响空间连续性,越大内存连续性越好,但内存平均利用率会降低。
HBase的解决方案-MSLAB
MSLAB,全称是MemStore-LocalAllocationBuffer,是Cloudera在HBase0.90.1时提交的一个patch里包含的特性。它基于ArenaAllocation解决了HBase因Regionflush导致的内存碎片问题。
MSLAB的实现原理(对照ArenaAllocation,HBase实现细节):
MemstoreLAB为Memstore提供Allocator。
创建一个2M(默认)的Chunk数组和一个chunk偏移量,默认值为0。
当Memstore有新的KeyValue被插入时,通过KeyValue.getBuffer()取得databytes数组。将data复制到Chunk数组起始位置为chunk偏移量处,并增加偏移量=偏移量+data.length。
当一个chunk满了以后,再创建一个chunk。
所有操作lockfree,基于CMS原语。
优势:
KeyValue原始数据在minorgc时被销毁。
数据存放在2m大小的chunk中,chunk归属于memstore。
flush时,只需要释放多个2m的chunks,chunk未满也强制释放,从而为Heap腾出了多个2M大小的内存区间,减少碎片密集程度。
开启MSLAB
hbase.hregion.memstore.mslab.enabled=true//开启MSALB
hbase.hregion.memstore.mslab.chunksize=2m//chunk的大小,越大内存连续性越好,但内存平均利用率会降低
hbase.hregion.memstore.mslab.max.allocation=256K//通过MSLAB分配的对象不能超过256K,否则直接在Heap上分配,256K够大了
转载请注明原文链接:http://kenwublog.com/avoid-full-gc-in-hbase-using-arena-allocation