hadoop和关系型数据库的各自优缺点 hdfs是关系型数据库

转载

技术博客达人 2024-05-30 12:17:45

文章标签 hadoop和关系型数据库的各自优缺点表名数据 System 文章分类 Hadoop 大数据

一脸懵逼学习HBase---基于HDFS实现的。（Hadoop的数据库，分布式的，大数据量的，随机的，实时的，非关系型数据库）

1：HBase官网网址：http://hbase.apache.org/

2：HBase表结构：建表时，不需要指定表中的字段，只需要指定若干个列族，插入数据时，列族中可以存储任意多个列（即KEY-VALUE，列名称-列值）;一个value可以有多个版本，通过版本号来区分（时间戳）

3：要查询某一个具体的字段，需要指定坐标：表名---->行健---->列族(ColumnFamily)：列名（Qualifier）---->版本;

4：HBase简介：
　　HBase – Hadoop Database，是一个高可靠性、高性能、面向列、可伸缩的分布式存储系统，利用HBase技术可在廉价PC Server上搭建起大规模结构化存储集群。HBase利用Hadoop HDFS作为其文件存储系统，利用Hadoop MapReduce来处理HBase中的海量数据，利用Zookeeper作为协调工具。

5：HBase基本概念知识：

　　5.1：主键：Row Key ：
　　　　主键是用来检索记录的主键，访问hbase table中的行，只有三种方式：
　　　　　（1）通过单个row key访问
　　　　　（2）通过row key的range
　　　　　（3）全表扫描
　　5.2：列族：Column Family：
　　　　列族在创建表的时候声明，一个列族可以包含多个列，列中的数据都是以二进制形式存在，没有数据类型。
　　5.3：时间戳：timestamp：
　　　　HBase中通过row和columns确定的为一个存贮单元称为cell。每个 cell都保存着同一份数据的多个版本。版本通过时间戳来索引；

　　5.4：HBase中有两张特殊的Table，-ROOT-和.META.
　　　　（a）：-ROOT- ：记录了.META.表的Region信息，-ROOT-只有一个region
　　　　（b）：.META. ：记录了用户创建的表的Region信息，.META.可以有多个regoin
　　　（c）：Zookeeper中记录了-ROOT-表的location
　　　　（d）：Client访问用户数据之前需要首先访问zookeeper，然后访问-ROOT-表，接着访问.META.表，最后才能找到用户数据的位置去访问；

6：HBase基础知识：
　　6.1：物理存储
　　　Table 在行的方向上分割为多个HRegion，一个region由[startkey,endkey)表示
　　6.2：架构体系
　　　　（a）：Client 包含访问hbase 的接口，client 维护着一些cache 来加快对hbase 的访问，比如regione 的位置信息
　　　　（b）：Zookeeper
　　　　　　保证任何时候，集群中只有一个running master；
　　　　　　存贮所有Region 的寻址入口；
　　　　　　实时监控Region Server 的状态，将Region server 的上线和下线信息，实时通知给Master；
　　　　　　存储Hbase 的schema,包括有哪些table，每个table 有哪些column family；
　　　　（c）：Master 可以启动多个HMaster，通过Zookeeper的Master Election机制保证：

　　　　　　总有一个Master运行
　　　　　　为Region server 分配region；
　　　　　　　负责region server 的负载均衡；
　　　　　　　发现失效的region server 并重新分配其上的region；

7：HBase的Region Server基本概念：
　　（a）：维护Master 分配给它的region，处理对这些region 的IO 请求
　　（b）：负责切分在运行过程中变得过大的region
　　（c）：可以看出，client 访问hbase 上数据的过程并不需要master 参与，寻址访问先zookeeper再regionserver，数据读写访问regioneserver。HRegionServer主要负责响应用户I/O请求，向HDFS文件系统中读写数据，是HBase中最核心的模块。

8：HBase学习前提与相关软件：

　　前提条件：本机或集群环境下hadoop.1.1.2已经安装成功

　　相关软件：

　　　　hadoop.1.1.2

　　　　hbase-0.94.2-security.tar.gz

　　　　JDK7

　　　　RHEL6.3

9：HBase Shell的学习（hbase提供了一个shell的终端给用户交互）：

hadoop和关系型数据库的各自优缺点 hdfs是关系型数据库_System

名称	命令表达式
创建表	create '表名', '列族名1','列族名2','列族名N'
查看所有表	list
描述表	describe ‘表名’
判断表存在	exists '表名'
判断是否禁用启用表	is_enabled '表名' is_disabled ‘表名’
添加记录	put ‘表名’, ‘rowKey’, ‘列族 : 列‘ , '值'
查看记录rowkey下的所有数据	get '表名' , 'rowKey'
查看表中的记录总数	count '表名'
获取某个列族	get '表名','rowkey','列族'
获取某个列族的某个列	get '表名','rowkey','列族：列’
删除记录	delete ‘表名’ ,‘行名’ , ‘列族：列'
删除整行	deleteall '表名','rowkey'
删除一张表	先要屏蔽该表，才能对该表进行删除第一步 disable ‘表名’ ，第二步 drop '表名'
清空表	truncate '表名'
查看所有记录	scan "表名"
查看某个表某个列中所有数据	scan "表名" , {COLUMNS=>'列族名:列名'}
更新记录	就是重写一遍，进行覆盖，hbase没有修改，都是追加

10：hbase数据模型：

hadoop和关系型数据库的各自优缺点 hdfs是关系型数据库_数据_02

1.Row Key
    与nosql数据库们一样,row key是用来检索记录的主键。访问HBASE table中的行，只有三种方式：
    a.通过单个row key访问
    b.通过row key的range（正则）
    c.全表扫描
    Row key行键 (Row key)可以是任意字符串(最大长度 是 64KB，实际应用中长度一般为 10-100bytes)，在HBASE内部，row key保存为字节数组。存储时，数据按照Row key的字典序(byte order)排序存储。设计key时，要充分排序存储这个特性，将经常一起读取的行存储放到一起。(位置相关性)
2.Columns Family
    列簇 ：HBASE表中的每个列，都归属于某个列族。列族是表的schema的一部 分(而列不是)，必须在使用表之前定义。列名都以列族作为前缀。例如 courses:history，courses:math都属于courses 这个列族。
3.Cell
    由{row key, columnFamily, version} 唯一确定的单元。cell中 的数据是没有类型的，全部是字节码形式存贮。
关键字：无类型、字节码
4.Time Stamp
    HBASE 中通过rowkey和columns确定的为一个存贮单元称为cell。每个 cell都保存 着同一份数据的多个版本。版本通过时间戳来索引。时间戳的类型是 64位整型。时间戳可以由HBASE(在数据写入时自动 )赋值，此时时间戳是精确到毫秒 的当前系统时间。时间戳也可以由客户显式赋值。如果应用程序要避免数据版 本冲突，就必须自己生成具有唯一性的时间戳。每个 cell中，不同版本的数据按照时间倒序排序，即最新的数据排在最前面。
    为了避免数据存在过多版本造成的的管理 (包括存贮和索引)负担，HBASE提供 了两种数据版本回收方式。一是保存数据的最后n个版本，二是保存最近一段 时间内的版本（比如最近七天）。用户可以针对每个列族进行设置。

11：hbase依赖zookeeper：

1、保存Hmaster的地址和backup-master地址
    hmaster：
    a)管理HregionServer
    b)做增删改查表的节点
    c)管理HregionServer中的表分配
2、保存表-ROOT-的地址
    hbase默认的根表，检索表。
3、HRegionServer列表
    表的增删改查数据。
    和hdfs交互，存取数据。

12：hbase开发：

12.hbase开发
　　12.1.配置
　　    HBaseConfiguration
        包：org.apache.hadoop.hbase.HBaseConfiguration
        作用：通过此类可以对HBase进行配置
        用法实例： 
        Configuration config = HBaseConfiguration.create();
        说明： HBaseConfiguration.create() 默认会从classpath 中查找 hbase-site.xml 中的配置信息，初始化 Configuration。

        使用方法:
        static Configuration config = null;
        static {
        config = HBaseConfiguration.create();
        config.set("hbase.zookeeper.quorum", "slave1,slave2,slave3");
        config.set("hbase.zookeeper.property.clientPort", "2181");
        }
    12.2.表管理类
        HBaseAdmin
        包：org.apache.hadoop.hbase.client.HBaseAdmin
        作用：提供接口关系HBase 数据库中的表信息

        用法：
        HBaseAdmin admin = new HBaseAdmin(config);
    12.3.表描述类
        HTableDescriptor
        包：org.apache.hadoop.hbase.HTableDescriptor
        作用：HTableDescriptor 类包含了表的名字以及表的列族信息
          表的schema（设计）
        用法：
        HTableDescriptor htd =new HTableDescriptor(tablename);
        htd.addFamily(new HColumnDescriptor(“myFamily”));
    12.4.列族的描述类
        HColumnDescriptor
        包：org.apache.hadoop.hbase.HColumnDescriptor
        作用：HColumnDescriptor 维护列族的信息

        用法：
        htd.addFamily(new HColumnDescriptor(“myFamily”));
    12.5.创建表的操作
        CreateTable（一般我们用shell创建表）
        static Configuration config = null;
        static {
        config = HBaseConfiguration.create();
        config.set("hbase.zookeeper.quorum", "slave1,slave2,slave3");
        config.set("hbase.zookeeper.property.clientPort", "2181");
        }

        HBaseAdmin admin = new HBaseAdmin(config);
        HTableDescriptor desc = new HTableDescriptor(tableName);
        HColumnDescriptor family1 = new HColumnDescriptor(“f1”);
        HColumnDescriptor family2 = new HColumnDescriptor(“f2”);
        desc.addFamily(family1);
        desc.addFamily(family2);
        admin.createTable(desc);
    12.6.删除表
        HBaseAdmin admin = new HBaseAdmin(config);
        admin.disableTable(tableName);
        admin.deleteTable(tableName);
    12.7.创建一个表的类
        HTable
        包：org.apache.hadoop.hbase.client.HTable
        作用：HTable 和 HBase 的表通信
        用法：
        // 普通获取表
        HTable table = new HTable(config,Bytes.toBytes(tablename);
        // 通过连接池获取表
        Connection connection = ConnectionFactory.createConnection(config);
        HTableInterface table = connection.getTable(TableName.valueOf("user"));
    12.8.单条插入数据
        Put
        包：org.apache.hadoop.hbase.client.Put
        作用：插入数据
        用法：
        Put put = new Put(row);
        p.add(family,qualifier,value);
        说明：向表 tablename 添加 “family,qualifier,value”指定的值。

        示例代码：
        Connection connection = ConnectionFactory.createConnection(config);
        HTableInterface table = connection.getTable(TableName.valueOf("user"));
        Put put = new Put(Bytes.toBytes(rowKey));
        put.add(Bytes.toBytes(family), Bytes.toBytes(qualifier),Bytes.toBytes(value));
        table.put(put);
    12.9.批量插入
        批量插入
        List<Put> list = new ArrayList<Put>();
        Put put = new Put(Bytes.toBytes(rowKey));//获取put，用于插入
        put.add(Bytes.toBytes(family), Bytes.toBytes(qualifier),Bytes.toBytes(value));//封装信息
        list.add(put);
        table.put(list);//添加记录
    12.10.删除数据
        Delete
        包：org.apache.hadoop.hbase.client.Delete
        作用：删除给定rowkey的数据
        用法：
        Delete del= new Delete(Bytes.toBytes(rowKey));
        table.delete(del);
        代码实例
        Connection connection = ConnectionFactory.createConnection(config);
        HTableInterface table = connection.getTable(TableName.valueOf("user"));
        Delete del= new Delete(Bytes.toBytes(rowKey));
        table.delete(del);
    12.11.单条查询
        Get
        包：org.apache.hadoop.hbase.client.Get
        作用：获取单个行的数据
        用法：
        HTable table = new HTable(config,Bytes.toBytes(tablename));
        Get get = new Get(Bytes.toBytes(row));
        Result result = table.get(get);
        说明：获取 tablename 表中 row 行的对应数据

        代码示例：
        Connection connection = ConnectionFactory.createConnection(config);
        HTableInterface table = connection.getTable(TableName.valueOf("user"));
        Get get = new Get(rowKey.getBytes());
        Result row = table.get(get);
        for (KeyValue kv : row.raw()) {
        System.out.print(new String(kv.getRow()) + " ");
        System.out.print(new String(kv.getFamily()) + ":");
        System.out.print(new String(kv.getQualifier()) + " = ");
        System.out.print(new String(kv.getValue()));
        System.out.print(" timestamp = " + kv.getTimestamp() + "\n");
        }
    12.12.批量查询
        ResultScanner
        包：org.apache.hadoop.hbase.client.ResultScanner
        作用：获取值的接口
        用法：
        ResultScanner scanner = table.getScanner(scan);
        For(Result rowResult : scanner){
        Bytes[] str = rowResult.getValue(family,column);
        }
        说明：循环获取行中列值。

        代码示例：
        Connection connection = ConnectionFactory.createConnection(config);
        HTableInterface table = connection.getTable(TableName.valueOf("user"));
        Scan scan = new Scan();
        scan.setStartRow("a1".getBytes());
        scan.setStopRow("a20".getBytes());
        ResultScanner scanner = table.getScanner(scan);
        for (Result row : scanner) {
        System.out.println("\nRowkey: " + new String(row.getRow()));
        for (KeyValue kv : row.raw()) {
         System.out.print(new String(kv.getRow()) + " ");
         System.out.print(new String(kv.getFamily()) + ":");
         System.out.print(new String(kv.getQualifier()) + " = ");
         System.out.print(new String(kv.getValue()));
         System.out.print(" timestamp = " + kv.getTimestamp() + "\n");
        }
        }
    12.13.hbase过滤器
        12.13.1.FilterList
            FilterList 代表一个过滤器列表，可以添加多个过滤器进行查询，多个过滤器之间的关系有：
            与关系（符合所有）：FilterList.Operator.MUST_PASS_ALL  
            或关系（符合任一）：FilterList.Operator.MUST_PASS_ONE    

            使用方法：
            FilterList filterList = new FilterList(FilterList.Operator.MUST_PASS_ONE);   
            Scan s1 = new Scan();  
            filterList.addFilter(new SingleColumnValueFilter(Bytes.toBytes(“f1”),  Bytes.toBytes(“c1”),  CompareOp.EQUAL,Bytes.toBytes(“v1”) )  );  
            filterList.addFilter(new SingleColumnValueFilter(Bytes.toBytes(“f1”),  Bytes.toBytes(“c2”),  CompareOp.EQUAL,Bytes.toBytes(“v2”) )  );  
            // 添加下面这一行后，则只返回指定的cell，同一行中的其他cell不返回  
            s1.addColumn(Bytes.toBytes(“f1”), Bytes.toBytes(“c1”));  
            s1.setFilter(filterList);  //设置filter
            ResultScanner ResultScannerFilterList = table.getScanner(s1);  //返回结果列表
        12.13.2.过滤器的种类
            过滤器的种类：
            列植过滤器—SingleColumnValueFilter 
            过滤列植的相等、不等、范围等
            列名前缀过滤器—ColumnPrefixFilter 
            过滤指定前缀的列名
            多个列名前缀过滤器—MultipleColumnPrefixFilter
            过滤多个指定前缀的列名
            rowKey过滤器—RowFilter
            通过正则，过滤rowKey值。
        12.13.3.列植过滤器—SingleColumnValueFilter
            SingleColumnValueFilter 列值判断
            相等 (CompareOp.EQUAL ), 
            不等(CompareOp.NOT_EQUAL),
            范围 (e.g., CompareOp.GREATER)…………
            下面示例检查列值和字符串'values' 相等...
            SingleColumnValueFilter f = new  SingleColumnValueFilter(
                Bytes.toBytes("cFamily")                              Bytes.toBytes("column"),             CompareFilter.CompareOp.EQUAL,
            Bytes.toBytes("values"));
            s1.setFilter(f);
            注意：如果过滤器过滤的列在数据表中有的行中不存在，那么这个过滤器对此行无法过滤。
        12.13.4.列名前缀过滤器—ColumnPrefixFilter
            过滤器—ColumnPrefixFilter 
            ColumnPrefixFilter 用于指定列名前缀值相等
            ColumnPrefixFilter f = new ColumnPrefixFilter(Bytes.toBytes("values"));
            s1.setFilter(f);
        12.13.5.多个列值前缀过滤器—MultipleColumnPrefixFilter
            MultipleColumnPrefixFilter 和 ColumnPrefixFilter 行为差不多，但可以指定多个前缀
            byte[][] prefixes = new byte[][] {Bytes.toBytes("value1"),Bytes.toBytes("value2")};
            Filter f = new MultipleColumnPrefixFilter(prefixes);
            s1.setFilter(f);
        12.13.6.rowKey过滤器—RowFilter
            RowFilter 是rowkey过滤器
            通常根据rowkey来指定范围时，使用scan扫描器的StartRow和StopRow方法比较好。
            Filter f = new RowFilter(CompareFilter.CompareOp.EQUAL, new RegexStringComparator("^1234")); //匹配以1234开头的rowkey
            s1.setFilter(f);

13.hbase原理：

hadoop和关系型数据库的各自优缺点 hdfs是关系型数据库_System_03

13.1.1.写流程
    1、client向hregionserver发送写请求。
    2、hregionserver将数据写到hlog（write ahead log）。为了数据的持久化和恢复。
    3、hregionserver将数据写到内存（memstore）
    4、反馈client写成功。
13.1.2.数据flush过程
    1、当memstore数据达到阈值（默认是64M），将数据刷到硬盘，将内存中的数据删除，同时删除Hlog中的历史数据。
    2、并将数据存储到hdfs中。
    3、在hlog中做标记点。
13.1.3.数据合并过程
    1、当数据块达到4块，hmaster将数据块加载到本地，进行合并
    2、当合并的数据超过256M，进行拆分，将拆分后的region分配给不同的hregionserver管理
    3、当hregionser宕机后，将hregionserver上的hlog拆分，然后分配给不同的hregionserver加载，修改.META.    
    4、注意：hlog会同步到hdfs
13.1.4.hbase的读流程
    1、通过zookeeper和-ROOT- .META.表定位hregionserver。
    2、数据从内存和硬盘合并后返回给client
    3、数据块会缓存
13.1.5.hmaster的职责
    1、管理用户对Table的增、删、改、查操作； 
    2、记录region在哪台Hregion server上
    3、在Region Split后，负责新Region的分配； 
    4、新机器加入时，管理HRegion Server的负载均衡，调整Region分布
    5、在HRegion Server宕机后，负责失效HRegion Server 上的Regions迁移。
13.1.6.hregionserver的职责
    HRegion Server主要负责响应用户I/O请求，向HDFS文件系统中读写数据，是HBASE中最核心的模块。
    HRegion Server管理了很多table的分区，也就是region。
13.1.7.client职责
    Client
    HBASE Client使用HBASE的RPC机制与HMaster和RegionServer进行通信
    管理类操作：Client与HMaster进行RPC；
    数据读写类操作：Client与HRegionServer进行RPC。

14.MapReduce操作Hbase：

14.1.实现方法
Hbase对MapReduce提供支持，它实现了TableMapper类和TableReducer类，我们只需要继承这两个类即可。
1、写个mapper继承TableMapper<Text, IntWritable>
    参数：Text：mapper的输出key类型； IntWritable：mapper的输出value类型。
      其中的map方法如下：
    map(ImmutableBytesWritable key, Result value,Context context)
     参数：key：rowKey；value： Result ，一行数据； context上下文
2、写个reduce继承TableReducer<Text, IntWritable, ImmutableBytesWritable>
    参数：Text:reducer的输入key； IntWritable：reduce的输入value；
     ImmutableBytesWritable：reduce输出到hbase中的rowKey类型。
      其中的reduce方法如下：
    reduce(Text key, Iterable<IntWritable> values,Context context)
    参数： key：reduce的输入key；values：reduce的输入value；

待续......

本文章为转载内容，我们尊重原作者对文章享有的著作权。如有内容错误或侵权问题，欢迎原作者联系我们进行内容更正或删除文章。