一 ，hbase 数据结构
1 ，RowKey ： 主键
- 与 nosql 数据库们一样，RowKey 是用来检索记录的主键。访问 HBASE table 中的行，只有三种方式：
1 ，通过单个RowKey访问
2 ，通过RowKey的range（正则）
3 ，全表扫描 - RowKey 行键 (RowKey)可以是任意字符串(最大长度是64KB，实际应用中长度一般为 10-100bytes)，在HBASE内部，RowKey保存为字节数组。存储时，数据按照RowKey的字典序(byte order)排序存储。设计RowKey时，要充分排序存储这个特性，将经常一起读取的行存储放到一起。(位置相关性)
2 ，Column Family ： 列簇
HBASE表中的每个列，都归属于某个列族。列族是表的schema的一部 分(而列不是)，必须在使用表之前定义。列名都以列族作为前缀。例如 courses:history，courses:math都属于courses 这个列族。
3 ，Cell ： 列 ( 最小存储单元 )
- 由 {rowkey, column Family:columu, version} 唯一确定的单元。
- 由{rowkey, column Family:columu, version} 唯一确定的单元。cell中的数据是没有类型的，全部是字节码形式存贮。
- 关键字 ： 无类型，字节码。
4 ，Time Stamp ： 时间戳
HBASE 中通过rowkey和columns确定的为一个存贮单元称为cell。每个 cell都保存 着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64位整型。时间戳可以由HBASE(在数据写入时自动 )赋值，此时时间戳是精确到毫秒 的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版 本冲突，就必须自己生成具有唯一性的时间戳。每个 cell中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。
为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，HBASE提供 了两种数据版本回收方式。一是保存数据的最后n个版本，二是保存最近一段 时间内的版本（比如最近七天）。用户可以针对每个列族进行设置。
5 ，namespace ： 命名空间 ( 作用是管理表，类似 mysql 中的库 )
- Table：表，所有的表都是命名空间的成员，即表必属于某个命名空间，如果没有指定，则在default默认的命名空间中。
- RegionServer group：一个命名空间包含了默认的RegionServer Group。
- Permission：权限，命名空间能够让我们来定义访问控制列表ACL（Access Control List）。例如，创建表，读取表，删除，更新等等操作。
- Quota：限额，可以强制一个命名空间可包含的region的数量。
二 ，HBase 读写原理
1 ，读流程 ： 文字描述
- 读到用户表信息 ：
1 ，Client 先访问 zookeeper，获取到 -ROOT- 表的 location ，读 -ROOT- 表。
2 ，从 -ROOT- 获取到 .META. 表的 Region 信息，读 .META. 表。
3 ，从 meta 表读取到用户表的 Region 信息。
4 ，读到了用户表。 - 根据 namespace 表名和 rowkey 在 meta 表中找到对应的 region 信息；
- 找到这个 region 对应的 regionserver ；
- 查找对应的region；
- 先从 MemStore 找数据，如果没有，再到 BlockCache 里面读；
- BlockCache 还没有，再到StoreFile上读(为了读取的效率)；
- 如果是从 StoreFile 里面读取到数据，不是直接返回给客户端，而是先写入 BlockCache ，再返回给客户端。
2 ，读流程 ： 结构图
3 ，写流程 ： 文字描述
- 写入内存阶段 ：
1 ，Client 向 HregionServer 发送写请求；
2 ，HregionServer 将数据写到 HLog（ write ahead log ）。为了数据的持久化和恢复；
3 ，HregionServer 将数据写到内存（ MemStore ）；
4 ，反馈 Client 写成功。 - 数据 flush 过程 ： 内存数据进入硬盘
1 ，当MemStore数据达到阈值（默认是128M，老版本是64M），将数据刷到硬盘，将内存中的数据删除，同时删除HLog中的历史数据；
2 ，并将数据存储到HDFS中； - 数据合并过程 ： 数据永不丢失
1 ，每次缓存数据，都会清空内存数据，将数据保存到磁盘上，形成一个数据块。
2 ，小文件合并，当数据块达到 4 块，Hmaster 将数据块加载到本地，进行合并；
3 ，当合并的数据超过 256M，进行拆分，将拆分后的 Region 分配给不同的 HregionServer 管理；
4 ，当 HregionServer 宕机后，将 HregionServer 上的 hlog 拆分，然后分配给不同的 HregionServer加载，修改 .META.；
5 ，注意：HLog 会同步到 HDFS。
4 ，写流程 ： 结构图
5 ，写流程 ，自我总结 ：
- 数据来了。
- 内存一份，硬盘一份。
- 目的 ： 内存是为了高速访问，硬盘是为了容错。
- 刷新 ： 内存数据太多了，把数据刷新到磁盘，形成一个小文件。
- 小文件合并 ： 如果发现 4 个小文件，就把他们合并到一起。
- 大文件拆分 ： 如果合并后形成的大文件太大，就把这个文件拆分，默认阈值 256M
本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。
