HBase安装
HBase的安装也有三种模式:单机模式、伪分布模式和完全分布式模式,在这里只介绍完全分布模式。前提是Hadoop集群和Zookeeper已经安装完毕,并能正确运行。
第一步:下载安装包,解压到合适位置,并将权限分配给hadoop用户(运行hadoop的账户)
这里下载的是hbase-0.94.6,Hadoop集群使用的是1.0.4,将其解压到/usr/local下并重命名为hbase
sudo cp hbase-0.94.6.tar.gz /usr/local
sudo tar -zxf hbase-0.94.6.tar.gz
sudo mv hbase-0.94.6 hbase
sudo chown -R hadoop:hadoop hbase
第二步:配置相关的文件
(1)配置hbase-env.sh,该文件在/usr/local/hbase/conf
设置以下值:
export JAVA_HOME=/usr/local/java/jdk1.6.0_27 #Java安装路径
export HBASE_CLASSPATH=/usr/local/hadoop/conf #HBase类路径
export HBASE_MANAGES_ZK=true #由HBase负责启动和关闭Zookeeper
(2)配置hbase-site.xml,该文件位于/usr/local/hbase/conf
<property>
<name>hbase.master</name>
<value>master:6000</value>
</property>
<property>
<name>hbase.master.maxclockskew</name>
<value>180000</value>
</property>
<property>
<name>hbase.rootdir</name>
<value>hdfs://master:9000/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.quorum</name>
<value>master</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/home/${user.name}/tmp/zookeeper</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
其中,hbase.master是指定运行HMaster的服务器及端口号;
hbase.master.maxclockskew是用来防止HBase节点之间时间不一致造成regionserver启动失败,默认值是30000;
hbase.rootdir指定HBase的存储目录;
hbase.cluster.distributed设置集群处于分布式模式;
hbase.zookeeper.quorum设置Zookeeper节点的主机名,它的值个数必须是奇数;
hbase.zookeeper.property.dataDir设置Zookeeper的目录,默认为/tmp,dfs.replication设置数据备份数,集群节点小于3时需要修改,本次试验是一个节点,所以修改为1。
(3)配置regionservers,该文件位于/usr/local/hbase/conf
设置所运行HBase的机器,此文件配置和hadoop中的slaves类似,一行指定一台机器,本次试验仅用一台机器,设置master即可。
(4)设置HBase环境变量,文件位于/etc/profile
在文件末尾添加:
#hbase Env
export HBASE_HOME=/usr/local/hbase
export PATH=$PATH:$HBASE_HOME/bin
使之生效:source /etc/profile
第三步:运行测试
启动hadoop后,在终端输入$HBASE_HOME/bin/start-hbase.sh,查看运行的进程:
关闭:stop-hbase.sh
参考1:
Hbase完全分布式集群安装配置(Hbase1.0.0,Hadoop2.6.0)
1.安装软件
OS:centos6.5
Hadoop:hadoop2.6.0
Hbase:hbase.1.0.0
JDK: jdk1.7.0_51
集群机器:
192.168.153.130(hadoop01 namenode)
192.168.153.131 (hadoop02 datanode)
192.168.153.132 (hadoop03 datanode)
2.安装步骤
如下安装步骤假设的JDK已经安装,如果未安装请自行查找JDK安装教程。
2.1 安装hadoop
(1)下载hadoop版本(hadoop2.6.0),下载地址:http://www.apache.org/dyn/closer.cgi/hadoop/common/ 在此路径下选择相应的版本下载。
(2)解压hadoop-2.6.0.tar.gz
tar zxvf hadoop-2.6.0.tar.gz -C /usr/local/soft/
将hadoop解压到/usr/local/soft/ 目录下。
(3)将hadoop添加到环境变量中
vim ~/.bashrc 打开.bashrc文件添加HADOOP_HOME
exportJAVA_HOME=/usr/local/soft/jdk1.7.0_79
export PATH=$HADOOP_HOME/bin:$PATH
(4)修改配置文件($HADOOP_HOME/etc/hadoop目录下)
配置core-site.xml
<configuration>
<property>
<name>fs.defaultFS</name>
<value>hdfs://192.168.8.101:8020</value>
<final>true</final>
</property>
<property>
<name>hadoop.tmp.dir</name>
<value>/usr/local/soft/hadoop-2.6.0/data/tmp</value>
</property>
</configuration>
配置hdfs-site.xml:
<configuration>
<property>
<name>dfs.namenode.name.dir</name>
<value>/usr/local/soft/hadoop-2.6.0/data/namenode</value>
</property>
<property>
<name>dfs.datanode.data.dir</name>
<value>/usr/local/soft/hadoop-2.6.0/data/datanode</value>
</property>
<property>
<name>dfs.replication</name>
<value>1</value>
</property>
</configuration>
配置mapred-site.xml文件
<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
<property>
<name>mapreduce.jobhistory.address</name>
<value>hadoop01:10020</value>
</property>
<property>
<name>mapreduce.jobhistory.webapp.address</name>
<value>hadoop01:19888</value>
</property>
<property>
<name>mapreduce.cluster.temp.dir</name>
<value>/usr/local/soft/hadoop-2.6.0/data/mr_temp</value>
</property>
</configuration>
配置yarn-site.xml文件
<configuration>
<property>
<name>yarn.resourcemanager.hostname.rm1</name>
<value>hadoop01</value>
</property>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.log.dir</name>
<value>/usr/local/soft/hadoop-2.6.0/data/yarn_log</value>
</property>
</configuration>
修改slaves文件,添加datanode节点hostname到slaves文件中
hadoop01
hadoop02
hadoop03
(5)格式化集群,在hadoop01节点上执行如下命令:
hadoop namenode -format
(6)启动集群,在hadoop01节点上执行如下命令:
start-all.sh
(7) 通过浏览器查看hadoop是否安装成功:
输入: http://hadoop01:50070
输入:http://hadoop01:8088/
2.2 安装Hbase
(1)下载hbase版本
下载地址:http://www.apache.org/dyn/closer.cgi/hbase/,在此路径下选择相应的版本下载,本次安装下载hadoop1.0.0版本
(2)解压hbase-1.0.0-bin.tar.gz
tar zxvf hbase-1.0.0-bin.tar.gz –C /usr/local/soft/
(3)将hbase添加到环境变量中
export HBASE_HOME=:/usr/local/soft/hbase-1.0.0
export PATH=$HBASE_HOME/bin:$PATH
(4)修改配置文件
修改hbase-env.sh
exportJAVA_HOME=/home/hadoop001/thirdparty/jdk1.7.0_51
修改hbase-site.xml
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://hadoop01:8020/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.zookeeper.property.quorum</name>
<value>hadoop01,hadoop02,hadoop03</value>
</property>
<property>
<name>hbase.zookeeper.property.dataDir</name>
<value>/usr/local/soft/hadoop/zookeeper</value>
</property>
<property>
<name>hbase.master.maxclockskew</name>
<value>180000</value>
</property>
</configuration>
备注:
在上面的配置文件中,第一个属性指定本机的hbase的存储目录;
第二个属性指定hbase的运行模式,true代表全分布模式;第三和第四个属性是关于Zookeeper集群的配置。我的Zookeeper安装在hadoop01,hadoop02和hadoop03上。
修改regionservers,在regionservers文件中添加如下内容:
hadoop02
hadoop03
复制到其他两个节点
scp -r hadoop01 \hadoop02:/usr/local/soft
scp -r hadoop01 \hadoop03:/usr/local/soft
(5)启动hbase
启动hbase时要确保hdfs已经启动。在主节点上执行:
start-hbase.sh $HBASE_HOME/bin/start-hbase.sh
启动成功后集群会多出如下进程:
NameNode节点:
图片省略...
Datanode节点:
图片省略...
通过浏览器查看:
输入:http://hadoop01:16010
图片省略...
2.3 Hbase shell测试
(1)执行$HBASE_HOME/bin/hbase shell 命令:
(2)创建testtable表
create 'testtable:colfaml'
(3)put数据
hbase shell是基于Ruby实现的,因此使用过程中可以将hbase shell与Ruby代码混合使用,此示例参考《HBase权威指南》p-66页shell介绍。
for i in 'a'..'z' do for j in 'a'..'z' do \
put 'testtable' , "row-#{i}#{j}","colfaml:#{j}" ,"#{j}" end end(4)查看插入数据
scan 'testtable'
部分结果截图:
图片省略...
3.常用参数(待续)
4.备注
目前安装所有配置都是最简配置,并没有考虑参数优化,此教程的目的是让Hbase先跑起来,优化后期继续做。
bug:
1、没有HRegionServer、HMaster
2、centos-zookeeper-01的hbase服务启动不起来