hive orc 导入hbase hive数据到hbase

1 文档编写目的

在一些业务场景中需要将Hive的数据导入到HBase中，通过HBase服务为线上业务提供服务能力。本篇文章Fayson主要通过在Hive上创建整合HBase表的方式来实现Hive数据导入到HBase。

测试环境
1.Redhat7.2
2.采用root用户操作
3.CM/CDH6.2.0

2 创建Hive与HBase关联表

2.1 创建同步关联表

1.在Hive的命令行执行如下SQL创建Hive与HBase关联表

CREATE TABLE hive_hbase_table(
    key int, 
    name String,
    age String
) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:name,cf1:age") 
TBLPROPERTIES ("hbase.table.name" = "hbase_table", "hbase.mapred.output.outputtable" = "hbase_table");

2.在HBase Shell命令行查看

3.删除hive_hbase_table表

再次登录HBase Shell查看hbase_table表已不存在被删除

可以看到通过上述命令创建Hive与HBase关联表，如果HBase表不存在时会自动创建，但通过Hive将表删除时也同时会删除与之关联的HBase表。

2.2 创建外部关联表

1.在HBase上创建一个hbase_hive表

hbase(main):003:0> create 'hbase_table','cf1'
hbase(main):004:0> list

2.在Hive上执行如下SQL创建Hive与HBase关联的外部表

CREATE EXTERNAL TABLE hive_hbase_table(
    key int, 
    name String,
    age String
) 
STORED BY 'org.apache.hadoop.hive.hbase.HBaseStorageHandler'
WITH SERDEPROPERTIES ("hbase.columns.mapping" = ":key,cf1:name,cf1:age") 
TBLPROPERTIES ("hbase.table.name" = "hbase_table", "hbase.mapred.output.outputtable" = "hbase_table");

3.在Hive上执行drop操作，HBase表不会被同步删除

HBase表依然存在不会被同步删除

可以看到通过创建Hive与HB 从vase的外部关联表，在删除Hive表的时候并不会同步的将HBase表删除。

3 Hive表导数到HBase表

1.准备一个hive的测试表，这里测试表的字段与之前创建的Hive与HBase关联表字段一致，为了能够方便的将数据导入到HBase表中

hive> create table hive_data (key int,name String,age string);
hive> insert into hive_data values(1,"za","13");
hive> insert into hive_data values(2,"ff","44");
hive> select * from hive_data;

查看hive_data表的数据，插入数据成功。准备完毕。

2.通过如下SQL语句将hive表的数据导入到Hive与HBase的关联表中，从而实现Hive数据写入HBase

hive> insert into table hive_hbase_table select * from hive_data;
hive> select * from hive_hbase_table;

然后在HBase中查看表hbase_table的数据，也同步了过来，数据与hive表中的数据一致，导入成功。

hbase(main):014:0> scan 'hbase_table'

通过如上方式可以方便的将Hive表的数据写入到HBase表中，为线上业务提供数据服务。

4 总结

1.未使用EXTERNAL关键字创建Hive与HBase关联表时，如果HBase表不存在会自动创建，且删除Hive表的同时也会删除HBase表。

2.使用EXTERNAL关键字创建Hive与HBase关联表时，HBase表必须存在，且删除Hive表是不会删除HBase表。

3.通过Hive创建与HBase关联的表后，可以方便的使用SQL语句方便的向HBase表中写入数据。