已搭建好hadoop,hbase,zookeeper
用户名分别为:centos01,centos02,centos03
搭建方法:CentOS7搭建 Hadoop + HBase + Zookeeper集群
我的密码为123456
用VMware打开集群,设置自己的镜像文件
查看3台机器的host,使用命令hostname
配置网络连接
1. 查看自己的网络状况
网关为192.168.79.2
子网掩码255.255.255.0
起始IP为192.168.79.128,可以分别设置 192.168.79.131, 192.168.79.132, 192.168.79.133
物理主机中的VMNet8接口ip地址也必须是同一网络
然后打开设置,打开网络设置
选择更改适配器选项
打开VMnet8
设置手动配置网络,IP地址根据上面在VMware中的设置,网关和VMnet中网关一样192.168.X.2,IP地址改一下最后一位19.168.X.1,我设置的最后一位是1,也可以设置其他的不能和虚拟机重复,子网掩码就设置255.255.2255.0
2. 为虚拟机配置网络
Master(centos1)
删除了一个DNS
设置完之后关闭网络连接,再重新打开
测试网络是否通了
2. Centos2
sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33
去掉了一个DNS(我也不知道有什么用)
重启网络服务
sudo service network restart
3.centos3
修改ip映射
1. root用户下修改
vi /etc/hosts
将Ip地址改为自己刚才配置的,3台机器都要改
2. 修改完ip映射后测试,在三台机器之间ping,每台机器都要ping除了自己以外的机器 ,ctrl+c 停止进程
3. 配置ssh,3台机器分别执行
cd /home/hadoop/.ssh
rm -rf id_rsa
rm -rf authorized_keys
rm -rf id_rsa.pub
首先进入.ssh目录,执行删除操作
搭建ssh连接
配置3台机器之间的无密码连接
1. 在centos1和centos02,centos03生成密钥,每个都执行如下命令
ssh-keygen -t rsa
2. 然后在centos01,centos02和centos03执行(每台机器都是3个命令都输入)
ssh-copy-id centos01
ssh-copy-id centos02
ssh-copy-id centos03
我的密码为123456
3. 测试是否能够无密码连接其他机器
4.exit退出
启动集群
1. 启动zookeeper, 选择性启动或不启动
cd /opt/modules/zookeeper/bin/
./zkServer.sh start centos01 02 03
2. 在master(centos01)下启动hadoop集群,在/opt/modules/hadoop/sbin/ 下的 ./start-all.sh
cd /opt/modules/hadoop/sbin/
start-all.sh
centos01的情况
直接在centos02和centos03下使用jps命令查看情况
3. 在centos01下启动hbase, /opt/modules/hbase/bin/ 下./start-hbase.sh
可以配置HBase的环境变量,就可以不用每次都去到此目录下启动hbase
进入hbase的目录下,可以使用pwd命令显示当前路径
修改 vi /etc/profile文件,添加HBase的路径
export HBASE_HOME=/opt/modules/hbase
export PATH=$PATH:$HBASE_HOME/bin
使用source /etc/profile命令使配置文件生效,使用hbase version查看是否成功,如果显示版本信息说明配置成功
jps查看进程
5.网页登录查看hbase。浏览器输入master的ip地址,加上:16010,注意要使用英文状态下的冒号
6. 网页查看hadoop,ip地址后加 :50070
关闭集群
1. 关闭zookeeper,选择性打开或不打开
cd /opt/modules/zookeeper/bin/
./zkServer.sh stop centos01 02 03
2.在关闭hadoop之前先关闭hbase
cd opt/modules/hbase/bin/
./stop-hbase.sh
3. 关闭hadoop
4. 如果想去掉 --process information unavailable,进入/tmp目录下,执行 rm -rf hsperfdata_*命令
[root@centos01 hadoop]# cd /tmp
[root@centos01 tmp]# rm -rf hsperfdata_*
修改集群密码
1. 修改root用户密码,先以root用户的身份登录
passwd
2. 修改普通用户
passwd username
3. 测试免密登录依旧能用(root用户才可以免密登录)
注意:一定不要直接关机,要先关闭hbase,在关闭hadoop最后再关机