一、 hbase的原理知识
1. hbase介绍
hbase是hadoop的一个重要成员,主要用于存储结构化数据,构建在hdfs之上的分布式存储系统,它主要通过横向扩展,通用不断增加廉价服务器增加计算和存储能力。
2. hbase的特点
1. 大:一个表可以有数十亿行,上百万列;
2. 无模式:每行都有一个可排序的主键和任意多的列,列可以根据需要动态的增加,同一张表中不同的行可以有截然不同的列;
3. 面向列:面向列(族)的存储和权限控制,列(族)独立检索;
4. 稀疏:空(null)列并不占用存储空间,表可以设计的非常稀疏;
5. 数据多版本:每个单元中的数据可以有多个版本,默认情况下版本号自动分配,是单元格插入时的时间戳;
6. 数据类型单一:Hbase中的数据都是字符串,没有类型。
3. hbase的结构
1. 在 HBase 中首先会有 Column Family 的概念,简称为 CF。CF 一般用于将相关的列(Column)组合起来。在物理上 HBase 其实是按 CF 存储的,只是按照 Row-key 将相关 CF 中的列关联起来。
2. Row-key 加上 CF 加上 Qulifier 再加上一个时间戳才可以定位到一个单元格数据(Hbase 中每个单元格默认有 3 个时间戳的版本数据)
3. 逻辑结构图与物理结构的映射如下:
二、hbase的安装(Linux )(伪分布式)
还是用之前的伪分布式集群。
1. 将hbase-1.0.1.1-bin.tar.gz上传到集群,并解压
tar -zxvf hbase-1.0.1.1-bin.tar.gz
默认会解压到当前路径,并创建一个hbase-1.0.1.1-bin文件夹
2. 设置环境变量(root用户,修改/etc/profile,在最后添加)
HBASE_HOME=/home/qjx/hbase-1.0.1.1 export PATH=$PATH:$HBASE_HOME/bin
使之立刻生效
source /etc/profile
3. 修改 /home/qjx/hbase-1.0.1.1/bin/hbase-env.sh
3.hbase-env.sh中的如下属性:
export JAVA_HOME=/usr/java/jdk1.8.0_121 export HBASE_MANAGES_ZK=true
将上面连个取消注释使之生效,
HBASE_MANAGES_ZK=true是使zookeeper生效
4. 修改 /home/qjx/hbase-1.0.1.1/bin/hbase-site.xml配置文件,添加配置(配置之前需要在hdfs中添加hbase文件夹)
hadoop fs -mkdir /hbase
(同时需要创建/home/qjx/hadoop/zookeeper文件夹)
mkdir /home/qjx/hadoop/zookeeper
修改 /home/qjx/hbase-1.0.1.1/bin/hbase-site.xml配置文件
<configuration>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://qjx:9000/hbase</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/qjx/hadoop/zookeeper</value>
</property>
</configuration>
5. 启动
bin/start-hbase.sh
6. 关闭
bin/stop-hbase.sh
7. 检查配置是否正确
jps比之前多现实三个
三、 hbase的shell命令
1. 创建表
create 'table1','info','address'
这个后面的参数 'table1','info','address' 是列族
2. 查看表
list
3. 查看表的描述
3.1 查看
describe 'table1'
3.2 修改version为存储多个版本
alter 'table1',{NAME=>'address',VERSIONS=>3}
再次查看,发现VERSIONS变为了3,即可以存储3个版本的数据
4. 删除表
disable 'table1' drop 'table1'
5. 添加记录
put 'table1','qujinxu','info:age','22' put 'table1','qujinxu','address:city','shuangyashan' put 'table1','xukang','info:age','23' put 'table1','xukang','info:birthday','1994' put 'table1','xukang','address:province','hebei' put 'table1','xukang','address:city','handan'
6. 查询记录
6.1 查询一个row-key的记录
get 'table1','qujinxu'
get 'table1','xukang'
6.2 查询一个row-key的某一列的记录
get 'table1','qujinxu','info'
get 'table1','qujinxu','address'
get 'table1','xukang','info'
get 'table1','xukang','address'
6.3 查看某几个版本的数据
如果有多个版本,可以显示多条,如果没有,可以自己设置,见3.2操作
注意:VERSOIONS 而不是VERSION
put 'table1','qujinxu','address:city','qinhuangdao'
get 'table1','qujinxu',{COLUMN=>'address:city',VERSION=>5}
7. 更新记录
更新记录还是讲数据put上去进行覆盖,不过会产生新的迭代版本,见上一步操作的第一步
8. 全部扫描
scan 'table1'
9. 删除记录
9.1 删除具体的row-key的某个列
delete 'table1','qujinxu','info:city'
9.2 删除row-key的某个列族
delete 'table1','qujinxu','info