目录
一、安装SSH
1、更新apt
2、配置SSH无密码登陆
设置无密码登陆
再登陆(此时已是无密码登陆)
二、安装Java环境
1、创建jdk目录
解压
添加环境变量
查看Java环境是否搭建成功
三、SSH多节点配置
1、实现主机映射
2、SSH无密码登陆(这里设置的是被连主机)
3、SSH登陆其他主机
验证
4、节点传送
5、将公钥加入授权(在被加入的虚拟机下添加授权)
五、Hadoop安装
1、查看hadoop是否可用
2、配置hadoop-env.sh文件
3、Hadoop单机配置(非分布式)
六、Habse安装
1、解压
2、配置环境变量
3、查看是否安装成功
4、Hbase的配置(单机模式)
5、试运行
学期结束,刚好整理这一学期在NoSQL数据库中的所学作一终结,也希望能够帮助步入学习NoSQL数据库的你。
本系列文章的编撰基于Ubuntu20.04版本。
本文参照厦门大学数据库实验室。
我们这里安装Habse的前置条件先将:Hadoop、Java环境、SSH安装好。
特别注意:Hadopp与Hbase之间存在版本关联,具体可见下方图片,来源官网。
当然,这里你可以直接使用我给到的版本:下载链接
一、安装SSH
1、更新apt
sudo apt-get update
2、配置SSH无密码登陆
sudo apt-get install openssh-server
选Y。
安装完成后,可以无密码登陆。
ssh localhost
因为我这里已经安装了SSH,所以直接显示出系统的版本号以及登陆日期。
SSH首次登陆,此时会有提示选Y/N。输入yes,然后按提示输入密码p,这样就登陆到本机了
但这样登陆是需要每次输入密码的,我们需要配置成SSH无密码登陆比较方便。
设置无密码登陆
先退出刚才登陆的SSH。
exit
开始操作。
cd ~/.ssh/ # 若没有该目录,请先执行一次ssh localhost
ssh-keygen -t rsa # 会有提示,都按回车就可以
cat ./id_rsa.pub >> ./authorized_keys # 加入授权
再登陆(此时已是无密码登陆)
ssh localhost
二、安装Java环境
1、创建jdk目录
mkdir opt/servers/hbase_demo/jdk
现在可将你在网盘下载的jdk安装包放入Ubuntu系统,使用sercet CRT(若没有此软件可直接将在Windows下载的压缩包拖拽至虚拟机下。) 将下载的jdk文件放到Ubuntu的桌面上显示(一定要知道它的位置,在下面tar命令解压时需要用到)。
解压
tar -zxvf jdk-8u331-linux-x64.tar.gz -C opt/servers/hbase_demo/jdk/
mv opt/servers/hbase_demo/jdk1.8.0_331 jdk
添加环境变量
vim ~/.bashrc
将以下内容放入:
# Java环境变量
export JAVA_HOME=opt/servers/hbase_demo/jdk/jdk
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
立即生效:source ~/.bashrc
查看Java环境是否搭建成功
java -version
此时版本显示出来,说明安装成功。
三、SSH多节点配置
1、实现主机映射
sudo vim /etc/hosts
其他被连接主机同样需要设置。
完成后,ping一下试试。
ping 主机名 -c 3
2、SSH无密码登陆(这里设置的是被连主机)
虽然前面已经设置过,但这里新加入了主机2及主机3,想要实现多台SSH连接,需要更新下密钥。
cd ~/.ssh #
# 删除之前生成的公匙(如果已经存在)
rm ./id_rsa*
执行该命令后,遇到提示信息,一直按回车就可以
ssh-keygen -t rsa
3、SSH登陆其他主机
验证
当前本机目录输入
cat ./id_rsa.pub >> ./authorized_keys
ssh 主机名
输入yes即可,测试成功后,请执行“exit”命令返回原来的终端。
4、节点传送
在当前主机输入(中文部分修改成你自己的):
scp ~/.ssh/id_rsa.pub 被连主机系统名@被连主机名:/home/用户目录名(与被连主机系统名相同)/
表示完成:
5、将公钥加入授权(在被加入的虚拟机下添加授权)
cat ~/id_rsa.pub >> ~/.ssh/authorized_keys
rm ~/id_rsa.pub # 用完以后就可以删掉
五、Hadoop安装
tar -zxvf hadoop-3.1.3.tar.gz -C opt/servers/
mv opt/servers/Hadoop/hadoop-3.3.2-src hadoop # 这里使用你下载的hadoop版本呈现的文件名,我是用的是原先已经下载过的
1、查看hadoop是否可用
cd opt/servers/Hadoop/hadoop
./bin/hadoop version
若出现上图问题,则是Hadoop配置文件与本地jdk安装路径不相符。
2、配置hadoop-env.sh文件
vim opt/servers/hadoop/etc/hadoop/hadoop-env.sh
按Esc进入命令界面:输入冒号后输入,/export JAVA_HOME
找到对应的
将jdk目录输入进去。
/home/系统名/opt/servers/hbase_demo/jdk/jdk
设置好后再尝试查看是否能出现Hadoop版本。
3、Hadoop单机配置(非分布式)
cd opt/servers/hadoop
mkdir ./input
cp ./etc/hadoop/*.xml ./input
./bin/hadoop jar ./share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar grep ./input ./output 'dfs[a-z.]+'
cat ./output/*
注意,Hadoop 默认不会覆盖结果文件,因此再次运行上面实例会提示出错,需要先将./output删除:rm -r ./output
六、Habse安装
回到根目录:cd ~
1、解压
tar -zxvf hbase-2.2.2-bin.tar.gz -C opt/servers/
cd opt/servers/
mv hbase-2.2.2 hbase
2、配置环境变量
vim ~/.bashrc
export PATH=$PATH:opt/servers/hbase/bin
source ~/.bashrc
3、查看是否安装成功
在根目录输入
opt/servers/hbase/bin/hbase version
4、Hbase的配置(单机模式)
vim opt/servers/hbase/conf/hbase-env.sh
配置HBASE_MANAGES_ZK为true,表示由hbase自己管理zookeeper,不需要单独的zookeeper。hbase-env.sh中本来就存在这些变量的配置,大家只需要删除前面的#并修改配置内容即可(#代表注释) ---->来源厦门大学数据库实验室。
export JAVA_HOME=/home/系统名/opt/servers/hbase_demo/jdk/jdk
export HBASE_MANAGES_ZK=true
vim opt/servers/hbase/conf/hbase-site.xml
在启动HBase前需要设置属性hbase.rootdir,用于指定HBase数据的存储位置,因为如果不设置的话,hbase.rootdir默认为/tmp/hbase-${user.name},这意味着每次重启系统都会丢失数据。此处设置为HBase安装目录下的hbase-tmp文件夹即(opt/servers/hbase/hbase-tmp),添加配置如下:
<configuration>
<property>
<name>hbase.rootdir</name>
<value>file://opt/servers/hbase/hbase-tmp</value>
</property>
</configuration>
5、试运行
cd opt/servers/hbase
bin/start-hbase.sh
bin/hbase shell
停止服务命令:bin/stop-hbase.sh
以上是关于Ubuntu安装Hbase的操作流程,若你在操作过程中出现错误,可在评论区留言~🌹