已搭建好hadoop,hbase,zookeeper

用户名分别为:centos01,centos02,centos03

搭建方法:CentOS7搭建 Hadoop + HBase + Zookeeper集群

我的密码为123456

用VMware打开集群,设置自己的镜像文件

hadoop集群查看使用资源_zookeeper

查看3台机器的host,使用命令hostname

hadoop集群查看使用资源_zookeeper_02

配置网络连接

1. 查看自己的网络状况

hadoop集群查看使用资源_hadoop集群查看使用资源_03

hadoop集群查看使用资源_zookeeper_04

hadoop集群查看使用资源_hadoop集群查看使用资源_05

hadoop集群查看使用资源_zookeeper_06

 

hadoop集群查看使用资源_centos_07

网关为192.168.79.2

子网掩码255.255.255.0

起始IP为192.168.79.128,可以分别设置 192.168.79.131, 192.168.79.132, 192.168.79.133

物理主机中的VMNet8接口ip地址也必须是同一网络

然后打开设置,打开网络设置

hadoop集群查看使用资源_centos_08

 选择更改适配器选项

hadoop集群查看使用资源_hadoop_09

打开VMnet8

hadoop集群查看使用资源_zookeeper_10

 

 

hadoop集群查看使用资源_hadoop_11

 

 设置手动配置网络,IP地址根据上面在VMware中的设置,网关和VMnet中网关一样192.168.X.2,IP地址改一下最后一位19.168.X.1,我设置的最后一位是1,也可以设置其他的不能和虚拟机重复,子网掩码就设置255.255.2255.0

 

hadoop集群查看使用资源_zookeeper_12

2. 为虚拟机配置网络

  Master(centos1)

hadoop集群查看使用资源_centos_13

hadoop集群查看使用资源_centos_14

hadoop集群查看使用资源_centos_15

hadoop集群查看使用资源_hadoop_16

删除了一个DNS

hadoop集群查看使用资源_hadoop集群查看使用资源_17

 

 

设置完之后关闭网络连接,再重新打开

hadoop集群查看使用资源_hadoop集群查看使用资源_18

hadoop集群查看使用资源_hadoop集群查看使用资源_18

测试网络是否通了

hadoop集群查看使用资源_hadoop集群查看使用资源_20

 

2. Centos2

sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33

 

hadoop集群查看使用资源_zookeeper_21

去掉了一个DNS(我也不知道有什么用)

hadoop集群查看使用资源_zookeeper_22

 

重启网络服务

sudo service network restart

hadoop集群查看使用资源_zookeeper_23

3.centos3

hadoop集群查看使用资源_centos_24

修改ip映射

1. root用户下修改

vi  /etc/hosts

将Ip地址改为自己刚才配置的,3台机器都要改

hadoop集群查看使用资源_hadoop_25

2. 修改完ip映射后测试,在三台机器之间ping,每台机器都要ping除了自己以外的机器 ,ctrl+c 停止进程

hadoop集群查看使用资源_hadoop集群查看使用资源_26

   3. 配置ssh,3台机器分别执行

cd /home/hadoop/.ssh

rm -rf id_rsa

rm -rf authorized_keys

rm -rf id_rsa.pub

首先进入.ssh目录,执行删除操作

hadoop集群查看使用资源_centos_27

搭建ssh连接

配置3台机器之间的无密码连接

1. 在centos1和centos02,centos03生成密钥,每个都执行如下命令

ssh-keygen -t rsa

hadoop集群查看使用资源_hadoop_28

hadoop集群查看使用资源_hadoop_29

hadoop集群查看使用资源_hadoop集群查看使用资源_30

2. 然后在centos01,centos02和centos03执行(每台机器都是3个命令都输入)

ssh-copy-id centos01

ssh-copy-id centos02

ssh-copy-id centos03

我的密码为123456

hadoop集群查看使用资源_hadoop集群查看使用资源_31

3. 测试是否能够无密码连接其他机器

hadoop集群查看使用资源_zookeeper_32

4.exit退出

hadoop集群查看使用资源_hadoop_33

启动集群 

1. 启动zookeeper, 选择性启动或不启动

cd /opt/modules/zookeeper/bin/

./zkServer.sh start centos01 02 03

2. 在master(centos01)下启动hadoop集群,在/opt/modules/hadoop/sbin/ 下的 ./start-all.sh  

cd /opt/modules/hadoop/sbin/

start-all.sh

hadoop集群查看使用资源_centos_34

 centos01的情况

hadoop集群查看使用资源_hadoop集群查看使用资源_35

直接在centos02和centos03下使用jps命令查看情况

hadoop集群查看使用资源_zookeeper_36

hadoop集群查看使用资源_hadoop集群查看使用资源_37

3. 在centos01下启动hbase,  /opt/modules/hbase/bin/ 下./start-hbase.sh

 

hadoop集群查看使用资源_centos_38

 可以配置HBase的环境变量,就可以不用每次都去到此目录下启动hbase

进入hbase的目录下,可以使用pwd命令显示当前路径

hadoop集群查看使用资源_hadoop集群查看使用资源_39

 修改 vi /etc/profile文件,添加HBase的路径

export HBASE_HOME=/opt/modules/hbase

export PATH=$PATH:$HBASE_HOME/bin

hadoop集群查看使用资源_centos_40

 使用source /etc/profile命令使配置文件生效,使用hbase version查看是否成功,如果显示版本信息说明配置成功

hadoop集群查看使用资源_hadoop集群查看使用资源_41

jps查看进程

hadoop集群查看使用资源_hadoop_42

hadoop集群查看使用资源_hadoop_43

hadoop集群查看使用资源_hadoop集群查看使用资源_44

5.网页登录查看hbase。浏览器输入master的ip地址,加上:16010,注意要使用英文状态下的冒号

hadoop集群查看使用资源_zookeeper_45

6. 网页查看hadoop,ip地址后加 :50070

hadoop集群查看使用资源_zookeeper_46

关闭集群

1. 关闭zookeeper,选择性打开或不打开

cd /opt/modules/zookeeper/bin/    

./zkServer.sh stop centos01 02 03

 

2.在关闭hadoop之前先关闭hbase

cd opt/modules/hbase/bin/

./stop-hbase.sh

hadoop集群查看使用资源_centos_47

hadoop集群查看使用资源_zookeeper_48

 

3. 关闭hadoop

hadoop集群查看使用资源_centos_49

 

hadoop集群查看使用资源_hadoop_50

4. 如果想去掉   --process information unavailable,进入/tmp目录下,执行 rm -rf hsperfdata_*命令

[root@centos01 hadoop]# cd /tmp

[root@centos01 tmp]# rm -rf hsperfdata_*

修改集群密码 

1. 修改root用户密码,先以root用户的身份登录

passwd

hadoop集群查看使用资源_hadoop集群查看使用资源_51

 2. 修改普通用户

passwd username

hadoop集群查看使用资源_centos_52

3. 测试免密登录依旧能用(root用户才可以免密登录)

hadoop集群查看使用资源_zookeeper_53

 注意:一定不要直接关机,要先关闭hbase,在关闭hadoop最后再关机