HBase 是一种分布式、可扩展、支持海量数据存储的 NoSQL 数据库。(列数据库)
基本介绍
HBase 逻辑结构
HBase 物理存储结构
数据模型,HBase和MySQL对应关系
MySQL | HBase | 解释 |
数据库(DatabBase) | 命名空间(Name Space ) | HBase有两个自带的命名空间,分别是 hbase 和 default,hbase 中存放的是 HBase 内置的表,default 表是用户默认使用的命名空间。 |
表 | 表(会划分为多个Region(区域)) | 一个表对应多个Region,Region和表的概念差不多。 HBase 定义表时只需要声明列族即可,不需要声明具体的列。 |
主键 | Row key(行键) | 数据是按照 RowKey的字典顺序存储的 |
列 | Column(列) | 每个列都由 Column Family(列族)和 Column Qualifier(列限定符)进行限定 |
Time Stamp | 时间戳,用于标识数据的不同版本(version) | |
值 | Cell | 由{rowkey, column Family:column Qualifier, time Stamp} 唯一确定的单元。 |
基本架构(不完整)
架构角色:
1.Region Server
Region Server 为 Region 的管理者,其实现类为 HRegionServer,主要作用如下:
对于数据的操作:get, put, delete;
对于 Region 的操作:splitRegion、compactRegion。
2.Master
Master 是所有 Region Server 的管理者,其实现类为 HMaster,主要作用如下:
对于表的操作:create, delete, alter
对于 RegionServer的操作:分配 regions到每个RegionServer,监控每个 RegionServer
的状态,负载均衡和故障转移。
3.Zookeeper
HBase 通过 Zookeeper 来做 Master 的高可用、RegionServer 的监控、元数据的入口以及
集群配置的维护等工作。
4.HDFS
HDFS 为 HBase 提供最终的底层数据存储服务,同时为 HBase 提供高可用的支持。
HBase 服务的启停
start-hbase.sh
stop-hbase.sh
查看 HBase web页面
hadoop102:16010
HBase Shell 操作
hbase shell——进入HBase
help——帮助命令
list——显示所有表
Exists——查看表是否存在
describe ‘student——查看表结构
count ‘student’——统计表数据行数
表操作
创建
create ‘student’,‘info’——创建表和列族(列族可有多个)
create ‘student’,‘info’,‘city’——创建表和两个列族
修改表
alter ‘student’,{NAME=>‘info’,VERSIONS=>3}数据存放 3 个版本
alter ‘student’,‘newdemo’添加列族
alter’student’,{NAME=>‘info’,METHOD=>‘delete’}删除info列族1
alter’student’,‘delete’=>'info’删除info列族2
删除表
disable ‘student’——修改状态为disable
drop ‘student’——删除表
truncate ‘student’——清空表数据 ,先 disable
数据的操作
插入数据(也可以更新,有时间戳)
put ‘表名’,‘行键’,‘列族:列限定符’,‘单元格值’
put ‘student’,‘1001’,‘info:sex’,‘male’
删除数据
delete ‘表名’,‘行键’,‘列族:<列限定符>’,<时间戳>
delete ‘student’,‘1001’,'info’删除表中行号1001的所有info列族内容
delete ‘student’,‘1001’,'info:math’删除表中行号为1001的info列族的列math,单元格内容
delete ‘student’,‘1001’,‘info:math’,2删除时间戳小于等于2的数据
deleteall ‘student’,'1001’删除1001这一行所有内容,跨越多个列族
查询数据
get’表名’,‘行键’,<‘列族:列限定符’,时间戳>
get ‘student’,'1001’查看“指定行”,跨越多个列族
get ‘student’,‘1001’,'info:name’查看“指定列族:列”的数据
扫描查看表数据(和查询差不多)
scan ‘student’——扫描查看全表数据
scan ‘student’,{STARTROW => ‘1001’, STOPROW =>
‘1001’}
scan ‘student’,{STARTROW => ‘1001’}
HBase 进阶
架构原理
1)StoreFile(存储文件)硬盘
保存实际数据的物理文件,StoreFile 以 HFile 的形式存储在 HDFS 上。每个 Store 会有一个或多个 StoreFile(HFile),数据在每个 StoreFile 中都是有序的。
2)MemStore(记忆商店)内存
写缓存,由于 HFile 中的数据要求是有序的,所以数据是先存储在 MemStore 中,排好序后,等到达刷写时机才会刷写到 HFile,每次刷写都会形成一个新的 HFile。
3)WAL(预写日志文件)
由于数据要经 MemStore 排序后才能刷写到 HFile,但把数据保存在内存中会有很高的概率导致数据丢失,为了解决这个问题,数据会先写在一个叫做 Write-Ahead logfile 的文件中,然后再写入 MemStore 中。所以在系统出现故障的时候,数据可以通过这个日志文件重建。
写流程
写流程:
1)Client 先访问 zookeeper,获取 hbase:meta 表位于哪个 Region Server。
2)访问对应的 Region Server,获取 hbase:meta 表,根据读请求的 namespace:table/rowkey,查询出目标数据位于哪个 Region Server 中的哪个 Region 中。并将该 table 的 region 信息以及 meta 表的位置信息缓存在客户端的 meta cache,方便下次访问。
3)与目标 Region Server 进行通讯;
4)将数据顺序写入(追加)到 WAL;
5)将数据写入对应的 MemStore,数据会在 MemStore 进行排序;
6)向客户端发送 ack;
7)等达到 MemStore 的刷写时机后,将数据刷写到 HFile。