[BD] HBase

NoSQL数据库

• 关系型数据库：用表格的行-列来保存数据，OLTP，写入多，行式存储
• 非关系型数据库：只用来存储数据，业务逻辑由应用程序处理，OLAP，查询多，列式存储
• 常见NoSQL数据库

• Redis：基于内存的NoSQL数据库
• MongoDB：基于文档型（BSON）的NoSQl数据库

• 设计一个数据库保存电影信息

• Oracle：至少三张表，每张1000行，笛卡尔积1000*1000*1000，性能低
• MongoDB：只有1000条记录，查询快（MongoDB 4.0 开始支持事务，支持分布式存储和MapReduce）

HBase

• Hadoop Database
• 以HDFS作为最基本的存储单元（表、列族-->目录，数据-->文件）
• 可快速随机访问海量结构化数据
• 支持数据随机查找，增量数据处理，数据更新
• 适用于大量数据存储，大量数据高并发操作，需要对数据进行随机读写的简单操作
• 内部使用哈希表，通过索引对HDFS文件中的数据进行快速查找（HDFS只能顺序访问）
• Zookeeper实现HA

 

 

安装

• 本地：单机，不需要HDFS，数据直接保存在操作系统，只启动HMaster

• 解压->设置环境变量->改配置文件（hbase-env.sh，hbase-site.xml）

• 伪分布：单机模拟分布式，ZK+HMaster+RegionServer

• 改配置文件（hbase-env.sh，hbase-site.xml）
• 依赖HDFS和ZK，必须先启动

• 全分布
• HA

过程

• 在HBase中创建表，参数--表名、列族
• 增加列，参数--列名
• 插入数据，参数--表名，行名，列名，值

命令

• 启动：start-hbase.sh
• 命令行工具：hbase shell
• 查看所有表：list
• 创建表：create 'student','info','grade'
• 插入数据：put 'student','stu001','info:name','Tom'
• 查看表：scan 'student'
• 停用表：disable 'student'
• 删除表：drop 'student'
• 删除命名空间：drop_namespace 'school'

Java API

• 启动hdfs
• 运行Java API
• 在hbase shell中查看

1 package Demo.base;
 2 
 3 import org.apache.hadoop.conf.Configuration;
 4 import org.apache.hadoop.hbase.HColumnDescriptor;
 5 import org.apache.hadoop.hbase.HTableDescriptor;
 6 import org.apache.hadoop.hbase.TableName;
 7 import org.apache.hadoop.hbase.client.Get;
 8 import org.apache.hadoop.hbase.client.HBaseAdmin;
 9 import org.apache.hadoop.hbase.client.HTable;
10 import org.apache.hadoop.hbase.client.Put;
11 import org.apache.hadoop.hbase.client.Result;
12 import org.apache.hadoop.hbase.client.ResultScanner;
13 import org.apache.hadoop.hbase.client.Scan;
14 import org.apache.hadoop.hbase.util.Bytes;
15 import org.junit.Test;
16 
17 /*
18  * 注意：需要：hamcrest-core-1.3.jar包
19  */
20 public class TestHbase {
21 
22     @Test
23     public void testCreateTable() throws Exception{
24         //创建表
25         //配置ZooKeeper地址
26         Configuration conf = new Configuration();
27         conf.set("hbase.zookeeper.quorum", "192.168.174.111");
28         
29         //得到一个HBase的客户端
30         HBaseAdmin client = new HBaseAdmin(conf);
31         
32         //采用：面向对象的思想来建表
33         //1、指定表的描述符
34         HTableDescriptor htd = new HTableDescriptor(TableName.valueOf("mytable"));
35         
36         //2、指定列族
37         htd.addFamily(new HColumnDescriptor("info"));
38         htd.addFamily(new HColumnDescriptor("grade"));
39         
40         //创建表
41         client.createTable(htd);
42         
43         //关闭客户端
44         client.close();
45     }
46     @Test
47     public void testPutData() throws Exception{
48         //插入数据
49         //配置ZooKeeper地址
50         Configuration conf = new Configuration();
51         conf.set("hbase.zookeeper.quorum", "192.168.174.111");        
52         
53         //得到一个客户端
54         HTable client = new HTable(conf, "mytable1");
55         
56         //构造一个Put对象：一条数据
57         Put put = new Put(Bytes.toBytes("id001"));
58         
59         //指定列的值
60         /*
61         put.addColumn(family,   列族的名字
62                        qualifier,  列的名字
63                        value)   值
64         */
65         put.addColumn(Bytes.toBytes("info"), Bytes.toBytes("name"), Bytes.toBytes("Tom"));
66         
67         // 一次插入多条记录client.put(List);
68         
69         client.put(put);
70         
71         client.close();
72     }
73 }

View Code