Hbase 分布式部署方案 hbase分布式数据库的优缺点

转载

mob64ca14040d22 2023-09-11 11:17:10

文章标签 Hbase 分布式部署方案分布式文件系统 Hadoop 大数据 hbase 文章分类 Hbase 数据库

HBase总结

一、本质

HBase是一个开源的非关系型分布式数据库（NoSQL），运行于HDFS文件系统之上，因此可以容错地存储海量稀疏的数据。

二、HBase解决了什么问题

对比传统数据库的优势：

– 高可靠的海量数据存储

– 高并发读写

– 面向列，快速随机访问

– 线性扩展

– 数据存储在HDFS，备份机制完备

– 通过zk协调查找数据，并实现容错

三、应用场景

• 互联网搜索引擎数据存储

• 消息中心

• 内容服务系统（schema-free）

四、行存储和列存储

• 行存储

– 优点：写入一次性完成，保持数据完整性

– 缺点：数据读取过程中产生冗余数据，若有少量数据可以忽略

• 列存储

– 优点：读取过程，不会产生冗余数据，特别适合对数据完整性要求不高的大数据领域

– 缺点：写入效率差，保证数据完整性方面差

五、HBase的数据模型

Hbase 分布式部署方案 hbase分布式数据库的优缺点_Hadoop

• RowKey：是Byte array，是表中每条记录的“主键”，方便快速查找，Rowkey的设计非常重要。

• Column Family：列族，拥有一个名称(string)，包含一个或者多个相关列

• Column：属于某一个columnfamily，familyName:columnName，每条记录可动态添加

• Version Number：类型为Long，默认值是系统时间戳，可由用户自定义

• Value(Cell)：Byte array

• 三维有序：{rowkey => {family => {qualifier => {version => value}}}}

六、HBase建表

• 进入HBase

hbase shell

• 查看数据库状态

status

• 创建HBase表:create / list / describe

create 'music_table','meta_data','action'

• 修改Hbase表:disable / alter / drop / exists / enable

**凡是要修改表的结构或删除表，hbase规定，必须先禁用表->修改表->启用表，直接修改会报错**

disable 'music_table'
  alter 'music_table',{NAME=>'action',METHOD=>'delete'}
  enable 'music_table'

七、HBase的逻辑&物理模型

7.1逻辑模型：

1)Hbase一张表由一个或多个Region(区域，范围)组成

2)记录之间按照Row Key的字典序排列

3)Region按大小分割的，每个表一开始只有一个Region，随着数据不断插入表，Region不断增大，当增大到一个阀值的时候，Region就会等分会两个新的Region。

Hbase 分布式部署方案 hbase分布式数据库的优缺点_hbase_02

7.2物理模型：

逻辑->物理

表 -> HTable

Region -> HRegion(分布在Region Servers)
Column Family -> HStore(memstore + HFiles)

Hbase 分布式部署方案 hbase分布式数据库的优缺点_Hadoop_04

• HRegion是Hbase中分布式存储和负载均衡的最小单元(HBase中的block)。

• 最小单元就表示不同的Hregion可以分布在不同的HRegion server上。

• 但一个Hregion是不会拆分到多个server上的。

Hbase 分布式部署方案 hbase分布式数据库的优缺点_Hbase 分布式部署方案_05

• HRegion虽然是分布式存储的最小单元，StoreFile是存储的最小单元。

• WAL(Write-Ahead-Log)预写日志，是RegionServer在处理数据插入和删除的过程中用来记录操作内容的一种日志，每次操作前先将其数据写入到RegionServer对应的HLog文件。

八、HBase的系统架构

Hbase 分布式部署方案 hbase分布式数据库的优缺点_Hbase 分布式部署方案_06

• Client

– 访问Hbase的接口，并维护Cache加速Region Server的访问

• Master

– 负载均衡，分配Region到RegionServer

• Region Server

– 维护Region，负责Region的IO请求

• Zookeeper

– 保证集群中只有一个Master(另一个是InactiveMaster)

– 保存HBase的部分信息：

– /hbase/root-region-server ，Root region的位置
– /hbase/table/-ROOT-，根元数据信息
– /hbase/table/.META.，元数据信息
– /hbase/master，当选的Mater
– /hbase/backup-masters，备选的Master
– /hbase/rs ，Region Server的信息
– /hbase/unassigned，未分配的Region
– 实时监控Region Server的上下线信息，并通知Master

Hbase 分布式部署方案 hbase分布式数据库的优缺点_hbase_07