hbase高并发写入 hbase 并发

转载

clghxq 2023-07-25 17:54:13

文章标签 hbase pe 支持多少并发 hadoop zookeeper JAVA 文章分类 Hbase 数据库

HBase随笔：
--------------
1、HBase数据存放在hdfs集群中，是一个大表，写操作使用MapReduce处理，将（增删改）处理结果放入HBase中，读就直接读HBase，
HBase的并发量在1000左右，常用的关系型数据库MySql的并发量在300到500之间，原因在于HBase启用了缓存技术.HBase中的块的单位是64k，
每次读取数据以块为单位加载数据到内存中，加载到内存中的数据形同一个散列表，散列表以Key-Value的键值对方式存储，HDFS中存储的数据
收到HBase的元数据管理，这种管理方式与Hive雷同，即HBase通过Zookeeper集群管理元数据，通过HDFS集群管理业务数据

2、数据存储以Region作为单位（行的集合），一个Region的默认大小为128M

3、因为HBase是基于键值对（读时以块为单位读）的一个NOSQL数据库，Redis的读写纯粹是基于键值对，Redis的并发量在十万左右，并发能力高，
但没有副本机制，数据容易丢失，而HBase基于HDFS集群，具有副本机制，数据安全度高

4、使用关联评估算法（属于机器学习）

HBase架构原理
-------------
1、客户端链接zookeeper集群，申请写数据
2、zookeeper返回一个地址列表给客户端
3、客户端根据地址列表链接slave节点写数据，并反馈状态
------------slave节点会主动上报存储状态及工况信息到master
------------master则主动将元数据上报zookeeper集群
4、客户端告知zookeeper记录和状态

HBase集群搭建与基础运维操作
--------------------------
A、安装HBase集群
---------------
A1、解压安装包
[hadoop@master01 install]$ tar -zxcf hbase-1.2.6-bin.tar.gz -C /software/

A2、系统配置环境变量

#配置/etc/profile
   [hadoop@master01 software]$ su -lc "vi /etc/profile"
   JAVA_HOME=/software/jdk1.7.0_79
   HADOOP_HOME=/software/hadoop-2.7.3
   HBASE_HOME=/software/hbase-1.2.6
   PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/lib:$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$HBASE_HOME/bin
   export PATH JAVA_HOME HADOOP_HOME HBASE_HOME

#分发系统配置文件

[hadoop@master01 software]$ su -lc "scp -r /etc/profile slaver03:/etc/"
   [hadoop@slaver03 software]$ source /etc/profile

配置HBase集群文件

-----------------
   [hadoop@master01 software]$ cd hbase-1.2.6/conf/
   [hadoop@master01 conf]$ vi hbase-env.sh
   --------
   29  export JAVA_HOME=/software/jdk1.7.0_79
   132 export HBASE_MANAGES_ZK=false
   --------
   [hadoop@master01 conf]$ vi hbase-site.xml
   指定
   <configuration>
     <property>
         <name>hbase.rootdir</name>
         <value>hdfs://ns1/userase</value>
     </property>

指定HBase为分布式

<property>
         <name>hbase.cluster.distributed</name>
         <value>true</value>
    </property>

指定zookeeper集群节点

<property>
         <name>hbase.zookeeper.quorum</name>
         <value>slaver01:2181,slaver02:2181,slaver03:2181</value>
    </property>
   </configuration>

指定HBase从节点：

[hadoop@master01 conf]$ vi regionservers
   [hadoop@master01 conf]$ cat regionservers 
   slaver01
   slaver02
   slaver03

#将hbase安装环境拷贝到三个从节点上：
[hadoop@master01 software]$ scp -r hbase-1.2.6/ slaver01:/software/
#将hdfs的配置文件放到hbase安装目录下的conf路径下（每个节点都要操作）；
[hadoop@master01 software]$ cp -a /software/hadoop-2.7.3/etc/hadoop/{core-site.xml,hdfs-site.xml} /software/hbase-1.2.6/conf/

B、启动zookeeper集群：
[hadoop@slaver01 software]$ cd zookeeper-3.4.10/bin/ && ./zkServer.sh start
C、启动HDFS集群：
[hadoop@master01 software]$ start-dfs.sh
D、启动HBase：
[hadoop@master01 software]$ start-hbase.sh
在master02上启动HBase:
[hadoop@master02 software]$ hbase-daemon.sh start master
手动启动slaver节点上的 regionserver进程：
[hadoop@slaver01 software]$ hbase-daemon.sh start regionserver
E、在终端查看：
http://master01:16010/