1. RegionServer 架构StoreFile保存数据的物理文件，StoreFile以HFile存储在HDFS上，每个Store有一个或者多个StoreFile(HFile)，StoreFile中的数据上有序的，字典序。MenStore写内存，所以写数据会先存到MenStore中，排好序后，等到出发刷写机制后会写到HDFS，每次刷写都会生成新的HFile。WAL在MenStore没有刷写之
转载
2024-06-22 13:47:23
53阅读
触发flush操作的条件：1）region中所有MenStore占用的内存超过相关阈值当一个region中所有MenStore占用的内存大小超过刷写阈值，会触发一次刷写，hbase.hregion.memstore.flush.size 默认值为128M。我们每次调用put、delete都会去检查这个值。如果我们的数据增加的很快，达到了 hbase.hregion.memstore.fl
转载
2023-08-18 22:11:16
181阅读
按计划今天是分析Hbase GET的过程。上一篇：hbase 源代码解析（4） 的createTable 的 region assign 在我以前的印象中，get过程应该是 client 找zk 拿到HMaster的主机地址，然后和HMaster 由HMaster 找regionService。拿到region。region再找menStore或者StoreFile。在到HDFS 过程。结果再今
hbase为了防止小文件（被刷到磁盘的menstore）过多，以保证保证查询效率，hbase需要在必要的时候将这些小的store file合并成相对较大的
store file，这个过程就称之为compaction。
在hbase中，主要存在两种类型的compaction：minor compa
转载
2024-03-13 22:50:56
42阅读
1.垃圾回收器调优当我们往hbase写入数据，它首先写入memstore当中，当menstore的值大于hbase.hregion.memstore.flush.size参数中设置的值后，就会写入硬盘。在hbase-env.sh文件中，我们可以设置HBASE_OPTS或者HBASE_REGIONSERVER_OPTS，后者只影响region server进程。
export HBASE_RE
转载
2023-09-06 11:34:06
84阅读
region数量的影响：通常较少的region可使集群运行的更加平稳，官方指出，每个regionServer大约100个regions的时候效果最佳，理由如下：1）hbase的一个特性MSLAB，它有助于防止堆内存的碎片化，减轻垃圾回收full gc的问题，默认是开启的。但是每个MenStore需要2MB，如果region过多，就算不储存数据，也会占用很多内存。2）如果region过多，MenSt
转载
2023-07-03 10:48:21
41阅读
HBase写机制默认情况下，执行写入时会写到两个地方：预写式日志（write-ahead log,也称HLog）和MenStore。Hbase默认方式是把写入动作记录在这两个地方，以保证数据持久化。只有当这两个地方的变化信息都写入并确认后，才认为写动作完成。
MemStore是内存里的写入缓冲区，HBase中数据在永久写入磁盘之前在这里累积。当Memstore填满后，其中的数据会刷写到硬盘，生
转载
2023-06-14 22:41:55
61阅读
