分布式NoSQL列存储数据库Hbase(三)

知识点01:课程回顾

  1. Hbase使用场景

    • 集群管理:定时调度管理的脚本

      • 定时调度:Azkaban、Oozie、Linux Crontab
      • Hbase脚本
        • 将Hbase命令写入一个文件
        • hbase shell运行文件即可
    • 测试开发:Hbase命令

      • DDL

        • list_namespace/create_namespace
        • create/list/desc
      • DML

        • put:插入、更新

          • 插入:每次是为每行插入一列

          • 更新:通过插入数据来代替了更新,用于提高性能

          • 语法

            put	表	rowkey		列族:列		值
            
        • delete:删除数据

          • delete:删除列
          • deleteall:删除行
          • truncate:清空表
        • get:获取某个rowkey的数据

          • 优点:查询数据最快的方式,根据rowkey进行查询

            • rowkey是Hbase中的唯一索引
          • 缺点

            • get最多返回一个rowkey的所有列
          • 语法

            get	表名		rowkey		【列族:列】
            
        • scan:查询符合条件的数据

          • 优点:返回需要的多条Hbase的数据

          • 缺点:很多情况下是不走索引【不能根据rowkey进行检索】

          • 语法

            scan 表名
            scan 表名 + Filter
            
    • 生产开发:JavaAPI

      • Connection:连接对象

        • Configuration:配置管理对象
      • HbaseAdmin:Hbase管理员对象:用于实现DDL操作

知识点02:课程目标

  1. Hbase JavaAPI实现DML操作【重点内容】

    • put:数据的写入或者更新
    • get:查询数据
    • delete:删除数据
    • scan:扫描数据
    • Filter:过滤器
  2. Hbase存储设计【掌握原理】

    • 表、RegionServer关系?

    • 表的分布式如何实现的?

      • Region的划分规则?
      • 数据如何决定进入哪个分区哪?
    • 分区内部是如何存储数据的?

知识点03:Java API:DML:Table

  • 需求:通过JavaAPI实现对Hbase的DML操作

  • 分析

    • step1:构建连接对象
    • step2:构建Table对象
      • 所有的DML操作,必须构建一个表的对象
  • 实现

    //todo:1-构建一个连接对象
    Configuration conf = HBaseConfiguration.create();
    //指定Hbase集群的服务端地址:给定ZK的地址
    conf.set("hbase.zookeeper.quorum","node1:2181,node2:2181,node3:2181");
    Connection conn = ConnectionFactory.createConnection(conf);
    //todo:2-所有的DML必须构建一个Table表的对象
    //构建一个表的对象
    TableName tbname = TableName.valueOf("itcast:t1");
    Table table = conn.getTable(tbname);
    
  • 总结

    • step1:先构建一个连接对象:Connection
    • step2:根据所做的操作决定构建哪种对象
    • DDL:HbaseAdmin
      • DML:Table

知识点04:Java API:DML:Put

  • 需求:JavaAPI实现往Hbase表中写入数据

    put		表		rowkey		列族:列		值
    
  • 分析

    • step1:Hbase中实现put操作,需要构建Put对象
    • step2:为Put对象添加列族、列名、值
    • step3:对表执行put操作
  • 实现

    /**
         * 用于实现使用Put插入数据到表中:put		表		rowkey		列族:列		值
         * @param table
         */
        private void putData(Table table) throws IOException {
            //step1:构建Put对象,必须指定插入的rowkey的数据
            Put put = new Put(Bytes.toBytes("20201001_888"));
            //step2:初始化put,添加列族、列、值
            put.addColumn(
                    Bytes.toBytes("basic"),//指定列族
                    Bytes.toBytes("name"),//指定列的名称
                    Bytes.toBytes("laoba")//指定列的值
            );
            //step3:让表执行put操作
            table.put(put);     
        }
    
  • 总结

    [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-a57OCTc7-1616631335573)(20210318_分布式NoSQL列存储数据库Hbase(三).assets/image-20210318084424081.png)]

    • Put对象:专门用于往Hbase写入数据的对象
      • 指定Rowkey,添加列族、列、值信息
    • table.put

知识点05:Java API:DML:Get

  • 需求:JavaAPI实现从Hbase表中读取某个Rowkey的数据

    get 表名	rowkey	【列族,列】
    
  • 分析

    • step1:Hbase中实现get操作,需要构建Get对象

    • step2:为Get对象添加列族、列名

    • step3:对表执行get操作,获取返回值,打印输出

      table.get(Get)
      
  • 实现

    /**
         * 使用Get查询Hbase表中的数据:get 表名	rowkey	【列族,列】
         * @param table
         */
        private void getData(Table table) throws IOException {
            //step1:构建Get对象,必须指定Rowkey
            Get get = new Get(Bytes.toBytes("20201001_888"));
            //step2:可选的,配置Get需要的参数:列族、列
    //        get.addColumn()//指定获取某一列的数据
    //        get.addFamily()//指定获取某个列族的数据
            //step3:表执行get操作
            Result result = table.get(get);//Get操作的返回值为Result类型对象
            /**
             * 迭代输出Result对应的rowkey中的每一列的数据,一个Rowkey包含很多列,循环迭代输出每一列的数据
             *      Result:一个Result对象就是一个Rowkey的数据
             *      Cell:一个Cell代表一个rowkey中一列的数据
             *      一个Result对象中会包含多个Cell
             */
            for(Cell cell : result.rawCells()){
                //输出每一列Cell对象中的数据:20201001_888  column=basic:age, timestamp=1616029665232, value=20
                System.out.println(
                        Bytes.toString(CellUtil.cloneRow(cell)) //获取这一列的rowkey,转换为字符串类型
                        +"\t"+
                        Bytes.toString(CellUtil.cloneFamily(cell)) //获取这一列的列族,转换为字符串类型
                        +"\t"+
                        Bytes.toString(CellUtil.cloneQualifier(cell)) //获取这一列的名称,转换为字符串类型
                        +"\t"+
                        Bytes.toString(CellUtil.cloneValue(cell)) //获取这一列的值,转换为字符串类型
                        +"\t"+
                        cell.getTimestamp() //获取时间戳
                );
            }
    
        }
    
  • 总结

    • step1:先构建Get
    • step2:执行Get,得到返回值
    • Result:一个Result就是一个Rowkey的数据,包含一个Cell数组
      • Cell:一个Cell就是一列的数据

知识点06:Java API:DML:Delete

  • 需求:JavaAPI实现从Hbase表删除某个Rowkey的某列的数据

  • 分析

    • step1:Hbase中实现delete操作,需要构建Delete对象

    • step2:为Delete对象添加列族、列名

    • step3:对表执行delete操作

      table.delete(Delete)
      
  • 实现

    /**
         * 删除某个Rowkey的某一列的数据:delete  表名     rowkey      列族:列
         * @param table
         */
        private void deleteData(Table table) throws IOException {
            //step1:构建删除对象
            Delete delete = new Delete(Bytes.toBytes("20201001_888"));
            //step2:添加删除配置
    //        delete.addColumn(Bytes.toBytes("basic"),Bytes.toBytes("name")); //只删除最新版本
            delete.addColumns(Bytes.toBytes("basic"),Bytes.toBytes("name")); //删除所有版本
            //step3:执行删除
            table.delete(delete);
        }
    
  • 总结

    • step1:构建Delete对象
    • step2:根据需求调用配置方法:添加列族、列
    • step3:表对象指定delete对象即可

知识点07:Java API:DML:Scan

  • 需求:JavaAPI实现从Hbase表中读取所有数据

    scan 表
    scan 表 + filter
    
  • 分析

    • step1:Hbase中实现scan操作,需要构建Scan对象
    • step2:对表执行scan操作
    • step3:获取返回值,取出每个Rowkey的数据,打印输出
  • 实现

    /**
         * 通过Scan,进行Hbase表的数据查询:scan 表
         * @param table
         */
        private void scanData(Table table) throws IOException {
            //step1:构建Scan对象
            Scan scan = new Scan();
            //step2:执行scan:返回值是ResultScanner,包含了多个Rowkey的数据
            ResultScanner rsScan = table.getScanner(scan);
            /**
             *      ResultScanner:包含多个Rowkey的数据,包含了多个Result对象:Iterator<Result>
             *      Result:一个Rowkey的数据,包含了这个Rowkey多列的数据:Cell[]
             *      Cell :一列的数据
             */
            //step3:打印数据
            //先获取每个rowkey
            for(Result rs:rsScan){
                //直接输出当前rowkey的值
                System.out.println(Bytes.toString(rs.getRow()));
                //再获取每个rowkey中的每一列
                for(Cell cell : rs.rawCells()){
                    //输出每一列Cell对象中的数据:20201001_888  column=basic:age, timestamp=1616029665232, value=20
                    System.out.println(
                            Bytes.toString(CellUtil.cloneRow(cell)) //获取这一列的rowkey,转换为字符串类型
                                    +"\t"+
                                    Bytes.toString(CellUtil.cloneFamily(cell)) //获取这一列的列族,转换为字符串类型
                                    +"\t"+
                                    Bytes.toString(CellUtil.cloneQualifier(cell)) //获取这一列的名称,转换为字符串类型
                                    +"\t"+
                                    Bytes.toString(CellUtil.cloneValue(cell)) //获取这一列的值,转换为字符串类型
                                    +"\t"+
                                    cell.getTimestamp() //获取时间戳
                    );
                }
                System.out.println("----------------------------------------------------------------------");
            }
        }
    
  • 总结

    • step1:先构建Scan对象
    • step2:执行Scan操作
    • step3:返回值
      • ResultScanner:包含多个Rowkey的数据的集合
        • Iter《Result》
      • Result:一个Rowkey的数据
        • Cell[]
      • Cell:一列的数据

知识点08:Java API:DML:Filter

  • 需求:JavaAPI实现从Hbase表中根据条件读取部分

    • 需求1:查询2021年1月和2月的数据
    • 需求2:查询2021年的所有数据
    • 需求3:查询所有age = 20的数据
    • 需求4:查询所有数据的name和age这两列
    • 需求5:查询所有年age = 20的人的name和age
  • 分析

    • Rowkey的设计:时间【年月日】+id

      • Rowkey整体有序
      • 前缀匹配
    • 需求1

      • StartRow = 》202101
        • 包含
      • StopRow = 》202103
        • 不包含
    • 需求2

      • 方案一:使用startrow = 2021,stoprow = 2022

      • 方案二:使用Filter:PrefixFilter,Rowkey的前缀过滤器

        [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-3MfZFeVn-1616631335575)(20210318_分布式NoSQL列存储数据库Hbase(三).assets/image-20210318103200422.png)]

        • 构建过滤器,指定Rowkey前缀
        • Scan加载过滤器,返回所有符合rowkey前缀的过滤器
    • 需求三:查询所有age = 20的数据

      where age = 20
      
      • Filter:列值过滤器
        • SingleColumnValueFilter:对某一列的值进行过滤
      • 指定列值过滤器:哪个列族下的哪一列的值等于什么值
      • scan加载过滤器
    • 需求4:查询所有数据的name和age这两列

      select name ,age from table
      
      • Filter:多列前缀过滤器
        • MutipleColumnPrefixFIlter:用于将每条数据中指定的列过滤出来
      • 指定需要过滤哪些列
      • scan加载过滤器即可
    • 需求5:查询所有年age = 20的人的name和age

      select name,age from table where age = 20
      
      • 支持组合过滤器:FilterList
        • 列的过滤:MutipleColumnPrefixFIlter
        • 列值过滤:SingleColumnValueFilter
      • 构建两个过滤器,将两个过滤器组合放入过滤器集合
      • Scan加载过滤器集合
  • 实现

    • 批量写入数据到Hbase

      /**
           * 批量写入数据到Hbase
           * @param table
           */
          private void putListData(Table table) throws IOException {
              //step1:构建Put对象,一个Put对象用于表示一个Rowkey写入的数据
              Put put1 = new Put(Bytes.toBytes("20210101_001"));
              Put put2 = new Put(Bytes.toBytes("20210201_002"));
              Put put3 = new Put(Bytes.toBytes("20210301_003"));
      
              //step2:为Put添加这个Rowkey的每一列
              put1.addColumn(Bytes.toBytes("basic"),Bytes.toBytes("name"),Bytes.toBytes("laoda"));
              put1.addColumn(Bytes.toBytes("basic"),Bytes.toBytes("age"),Bytes.toBytes("18"));
              put1.addColumn(Bytes.toBytes("other"),Bytes.toBytes("phone"),Bytes.toBytes("110"));
              put1.addColumn(Bytes.toBytes("other"),Bytes.toBytes("addr"),Bytes.toBytes("shanghai"));
      
              put2.addColumn(Bytes.toBytes("basic"),Bytes.toBytes("name"),Bytes.toBytes("laoer"));
              put2.addColumn(Bytes.toBytes("basic"),Bytes.toBytes("age"),Bytes.toBytes("20"));
              put2.addColumn(Bytes.toBytes("other"),Bytes.toBytes("phone"),Bytes.toBytes("120"));
      
              put3.addColumn(Bytes.toBytes("basic"),Bytes.toBytes("name"),Bytes.toBytes("laosan"));
              put3.addColumn(Bytes.toBytes("basic"),Bytes.toBytes("age"),Bytes.toBytes("22"));
              put3.addColumn(Bytes.toBytes("other"),Bytes.toBytes("addr"),Bytes.toBytes("beijing"));
      
              //step3:将多个Put封装到List中
              List<Put> puts = new ArrayList<Put>();
              puts.add(put1);
              puts.add(put2);
              puts.add(put3);
      
              //step4:执行PutList
              table.put(puts);
          }
      

      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-ijNYbrbY-1616631335576)(20210318_分布式NoSQL列存储数据库Hbase(三).assets/image-20210318101928785.png)]

    • 需求一:实现范围过滤

      //需求一:查询2021年1月和2月的数据
      scan.withStartRow(Bytes.toBytes("202101"));
      scan.withStopRow(Bytes.toBytes("202103"));
      

      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-kUtwEsEy-1616631335577)(20210318_分布式NoSQL列存储数据库Hbase(三).assets/image-20210318102604990.png)]

    • 需求二实现

      //需求2:查询2021年的所有数据
      Filter prefixFiter = new PrefixFilter(Bytes.toBytes("2021"));
      
      //将过滤器加载到scan中
      scan.setFilter(prefixFiter);
      
    • 需求三实现

      //需求三:查询所有age = 20的数据
              /**
               *    * @param family name of column family
               *    * @param qualifier name of column qualifier
               *    * @param op operator
               *    * @param value value to compare column values against
               */
              Filter valueFilter = new SingleColumnValueFilter(
                      Bytes.toBytes("basic"),//指定列族
                      Bytes.toBytes("age"),//指定列
                      CompareOperator.EQUAL,//指定比较器类型
                      Bytes.toBytes("20")  //比较的值
              );
              //将过滤器加载到scan中
              scan.setFilter(valueFilter);
      

      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-sP5MLfRe-1616631335579)(20210318_分布式NoSQL列存储数据库Hbase(三).assets/image-20210318104213375.png)]

    • 需求四实现

      //需求4:查询所有数据的name和age这两列
              //构建所有需要过滤的列
              byte[][] prefixes = {
                  Bytes.toBytes("name"),
                  Bytes.toBytes("age")
              };
              Filter columnFilter = new MultipleColumnPrefixFilter(prefixes);
      
              //将过滤器加载到scan中
              scan.setFilter(columnFilter);
      

      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-vkQbO9w9-1616631335580)(20210318_分布式NoSQL列存储数据库Hbase(三).assets/image-20210318104930496.png)]

    • 需求五实现

      Filter valueFilter = new SingleColumnValueFilter(
                      Bytes.toBytes("basic"),//指定列族
                      Bytes.toBytes("age"),//指定列
                      CompareOperator.EQUAL,//指定比较器类型
                      Bytes.toBytes("20")  //比较的值
              );
      
              //需求4:查询所有数据的name和age这两列
              //构建所有需要过滤的列
              byte[][] prefixes = {
                  Bytes.toBytes("name"),
                  Bytes.toBytes("age")
              };
              Filter columnFilter = new MultipleColumnPrefixFilter(prefixes);
              //需求5:查询所有age = 20的人的name和age
              //构建FIlterList
              FilterList lists = new FilterList();//MUST_PASS_ALL:and,MUST_PASS_ONE:or
              //添加过滤器
              lists.addFilter(valueFilter);
              lists.addFilter(columnFilter);
              //将过滤器加载到scan中
              scan.setFilter(lists);
      

      [外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-GaXWQJwf-1616631335581)(20210318_分布式NoSQL列存储数据库Hbase(三).assets/image-20210318110732471.png)]

  • 总结

    • Rowkey范围过滤:StartRow和StopRow
    • Rowkey前缀过滤:PrefixFilter
    • Rowkey中列的值的过滤:SingleColumnValueFilter
    • Rowkey中列的过滤:MultipleColumnPrefixFilter
    • 多种条件的组合过滤:FilterList

知识点09:存储设计:存储架构

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-QFiNIbeF-1616631335582)(20210318_分布式NoSQL列存储数据库Hbase(三).assets/image-20210317190105892.png)]

  • 问题:Hbase整体如何实现数据的存储?

  • 分析

知识点10:存储设计:Table、Region、RegionServer的关系

分布式NoSQL列存储数据库Hbase Java API(三)_C
  • 问题:客户端操作的是表,数据最终存在RegionServer中,表和RegionServer的关系是什么?

  • 分析

知识点11:存储设计:Region的划分规则

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-xGxSZiF6-1616631335582)(20210318_分布式NoSQL列存储数据库Hbase(三).assets/image-20210317191202582.png)]

  • 问题:一张表划分为多个Region,划分的规则是什么?写一条数据到表中,这条数据会写入哪个Region,分配规则是什么?

  • 分析

知识点12:存储设计:Region内部存储结构

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-KRgBXSLA-1616631335583)(20210318_分布式NoSQL列存储数据库Hbase(三).assets/image-20210317191716413.png)]

  • 问题:数据在Region的内部是如何存储的?

  • 分析

知识点13:存储设计:HDFS中的存储结构

[外链图片转存失败,源站可能有防盗链机制,建议将图片保存下来直接上传(img-10viiw3z-1616631335583)(20210318_分布式NoSQL列存储数据库Hbase(三).assets/image-20210317191754182.png)]

  • 问题:Hbase的数据在HDFS中是如何存储的?

  • 分析

egionServer的关系

分布式NoSQL列存储数据库Hbase Java API(三)_C
  • 问题:客户端操作的是表,数据最终存在RegionServer中,表和RegionServer的关系是什么?

  • 分析

知识点11:存储设计:Region的划分规则

[外链图片转存中…(img-xGxSZiF6-1616631335582)]

  • 问题:一张表划分为多个Region,划分的规则是什么?写一条数据到表中,这条数据会写入哪个Region,分配规则是什么?

  • 分析

知识点12:存储设计:Region内部存储结构

[外链图片转存中…(img-KRgBXSLA-1616631335583)]

  • 问题:数据在Region的内部是如何存储的?

  • 分析

知识点13:存储设计:HDFS中的存储结构

[外链图片转存中…(img-10viiw3z-1616631335583)]

  • 问题:Hbase的数据在HDFS中是如何存储的?

  • 分析