前言： 本篇对Hbase中涉及到的HFile和HLog进行单独讲解。HBase中的所有数据文件，都存储在Hadoop HDFS文件系统上，主要有两种格式：HFile和HLog。

一、HFile

1.1 什么是HFile ？

HFile是HBase中KeyValue数据的存储格式(这里不要把KeyValue想成Map的那种形式，理解起来会好一点)。HFile是Hadoop的二进制格式文件，实际上StoreFile就是对HFile做了轻量级包装，即StoreFile底层就是HFile。

hbase 元信息表 hbase元数据存在哪里_hbase

图1 HFile 结构图

HFile由六部分组成：

  • Data（数据块）：保存表中的数据（KeyValue的形式），这部分可以被压缩。
  • Meta （元数据块）：存储用户自定义KeyValue。
  • File Info：固定长度；记录了文件的一些元信息，例如：AVG_KEY_LEN,AVG_VALUE_LEN, LAST_KEY, COMPARATOR, MAX_SEQ_ID_KEY等。
  • Data Index（数据块索引）：记录了每个Data块的起始索引。
  • Meta Index（元数据块索引）：记录了每个Meta块的起始索引。
  • Trailer：固定长度；用于指向其他数据块的起始点。

我的理解：Trailer中有指向其他数据块的“指针”，通过Trailer能找到File Info、Data Index、Meta Index；然后，通过Data Index和 Meta Index，又能找到对应的数据块和元数据块。

同时这里有幅图不错，建议认真看下这幅图，很好懂：

hbase 元信息表 hbase元数据存在哪里_数据块_02

图2 HFile 存储格式

1.2 Data结构

1.1节提到HFile中有Data（数据块）部分，Data的结构又是如何的呢？
把图再拿过来：

hbase 元信息表 hbase元数据存在哪里_数据_03

图3 HFile 结构图

图中的Data由Magic以及后面一串KeyValue组成。

Magic内容就是一些随机数字，目的是防止数据损坏。

后面的每个KeyValue其实就是一个record，对应图2的HFile Block Record，包含key length、 value length, 、key（字节数组）、 value（字节数组）。（Data默认是64KB，我们可以根据需要设置，如果应用主要涉及顺序访问，则设置较大的块大小，但是这会降低随机读性能，因为需要解压缩更多的数据。如果应用主要涉及随机访问，设置较小的块更有利一些，不过这也需要更多的内存来存储块索引，并且可能创建过程也会变得更慢。）

1.3 KeyValue结构

下面这幅图是把图3的KeyValue单独抽出来放大后的结构：

hbase 元信息表 hbase元数据存在哪里_hbase_04

图4 KeyValue 结构图

如我们之前所说，它包含了：key length、value length、key和value。

Key部分：开始是固定长度的数值，表示RowKey的长度；紧接着是 RowKey；然后是固定长度的数值，表示Family的长度；然后是Family；接着是Qualifier；然后是两个固定长度的数值，表示Time Stamp和Key Type（Put/Delete）。

Value部分：没有复杂的结构，就是纯粹的二进制数据。

举个例子：
执行这条语句：Put #1: rowkey=row1, cf:attr1=value1。KeyValue的核心部分将会是这样：
rowlength -----------→ 4（row1长度）
row -----------------→ row1
columnfamilylength --→ 2
columnfamily --------→ cf
columnqualifier -----→ attr1
timestamp -----------→ server time of Put
keytype -------------→ Put

HFile分析到这里，值此结束。

二、HLog

HLog是用来做灾难恢复的，为什么这么说呢？假设没有HLog，我们进行一个写请求，首先写到MemStore上，等到Memstore到达一定容量后，才会flush到storefile中。但是，如果在这之前主机断电了呢？那这部分操作的数据全丢失了。这显然不是我们想到的结果，于是有了HLog。当发起一个写请求时，会先往HLog中写，再往MemStore中写，成功后（此时还没被存到sotrefile），就给客户端一个写入成功的response。如下图：

hbase 元信息表 hbase元数据存在哪里_Data_05

写HLog过程

    HLog文件就是一个普通的Hadoop Sequence File(也是KeyValue形式，与前面的数据块中的KeyValue类似)。
    Sequence File 的Key是HLogKey对象，HLogKey中记录了写入数据的归属信息，除了table和region名字外，同时还包括sequence number和timestamp。timestamp是“写入时间”，sequence number的起始值为0，或者是最近一次存入文件系统中sequence number。
    HLog Sequece File的Value是HBase的KeyValue对象，即对应HFile中的KeyValue，包括：row、column family、qualifier、timestamp、value，以及“Key Type”（比如PUT或DELETE)。