hbase 写数据流程简述hbase写数据流程

转载

风华绝代的java 2023-07-20 23:39:19

文章标签 hbase 写数据流程数据 zookeeper 客户端 文章分类 Hbase 数据库

架构图

架构图摘自网络，后续例子使用个人集群进行讲解

hbase 写数据流程简述hbase写数据流程_zookeeper

HBase写流程详解

假如我们有三台机器，ruozedata001 ruozedata002 ruozedata003

写流程：

首先要写数据，要有客户端、zookeeper

架构图中的：Put：table/RowKey/CF/Column: V，例如插入一条数据：

数据表：bigdata:student ，RowKey：1001，info列族，字段name，值为zhangsan

1.Client 先访问 zookeeper，获取 hbase:meta 表位于哪个 Region Server，请求到meta信息后，zookeeper将信息返回给客户端。

例如meta信息为ruozedata001

2.访问对应的 Region Server，获取 hbase:meta 表，根据读请求的 namespace:table/rowkey，查询出目标数据位于哪个 Region Server 中的哪个 Region 中。并将该 table 的 region 信息以及 meta 表的位置信息缓存在客户端的 meta cache，方便下次访问。

例如RegionServer信息为ruozedata003

3.与目标 Region Server 进行通讯

例如获取到的RegionServer信息为RegionServer信息为ruozedata003，那么zookeeper会向ruozedata003发送写的请求。

4.此时会进行真正的写操作。

例如此时会将数据写入到ruozedata003中

写操作的详细步骤：

(a)将数据顺序写入(追加)到 WAL
(b)将数据写入对应的 MemStore，数据会在 MemStore 进行排序

5.向客户端发送 ack，通知客户端写操作结束

6.等达到 MemStore 的刷写时机后，将数据刷写到 HFile。

关于HBase读的流程实际操作查看

1.在zookeeper中，找 meta表所在的位置

通过客户端工具zkCli.sh，进入zookeeper

get /hbase/meta-region-server

在zookeeper中，可以查看到HBase的RegionServer的信息，可以看到meta表在ruozedata001来维护

[zk: ruozedata001:2181(CONNECTED) 6] get /hbase/meta-region-server
�regionserver:60020�ac�%��PBUF

ruozedata001��-
cZxid = 0xd0000012a
ctime = Sat Oct 12 01:33:50 CST 2019
mZxid = 0xd0000012a
mtime = Sat Oct 12 01:33:50 CST 2019
pZxid = 0xd0000012a
cversion = 0
dataVersion = 0
aclVersion = 0
ephemeralOwner = 0x0
dataLength = 66
numChildren = 0

我们也可以通过HBase web界面来查看meta表在哪台机器维护：

hbase 写数据流程简述hbase写数据流程_hbase 写数据流程_02

即客户端找到 meta表在ruozedata001来维护

2.请求ruozedata001，读regision server内容

进入hbase shell执行

scan 'hbase:meta'

查看我们创建的 bigdata:student表，一共四个列

主要看的信息, info:server(标红部分)

column=info:server

column=info:serverstartcode,

在info:server中能够找到维护这张表的机器，例如执行 scan 'hbase:meta' 获取到的信息：value=ruozedata003:60020

bigdata:student,,1570815704167.86c3a column=info:regioninfo, timestamp=1570815744872, value={ENCODED => 86c3a55ff244676f7ae33bec6bc88311, NAME =>
55ff244676f7ae33bec6bc88311. 'bigdata:student,,1570815704167.86c3a55ff244676f7ae33bec6bc88311.', STARTKEY => '', ENDKEY => ''}
bigdata:student,,1570815704167.86c3a column=info:seqnumDuringOpen, timestamp=1570815744872, value=\x00\x00\x00\x00\x00\x00\x00\x05
55ff244676f7ae33bec6bc88311.
bigdata:student,,1570815704167.86c3a column=info:server, timestamp=1570815744872, value=ruozedata003:60020
55ff244676f7ae33bec6bc88311.
bigdata:student,,1570815704167.86c3a column=info:serverstartcode, timestamp=1570815744872, value=1570815142190
55ff244676f7ae33bec6bc88311.

该信息也可以通过hbase的web界面，通过table regions 找到

hbase 写数据流程简述hbase写数据流程_数据_03