Hadoop集群免密码登录实验

实验目的:
(1)静态网络地址的配置; (2)主机名的配置; (3)防火墙的配置;
(4)主机地址映射的配置; (5)免密码登录的配置。

实验要求:
(1) 完成静态网络地址的配置,所有主机的网络能够正常使用,相互之间能够正常连接;
(2) 完成主机名的配置,正确设定永久有效的主机名;
(3) 完成防火墙的配置,使平台相关软件的常用端口能够远程正常访问;
(4) 完成主机地址映射的配置,使所有主机能够通过主机名相互正常访问;
(5) 完成免密码登录的配置,使所有主机能够免密码登录集群中所有其它节点,多个主节点之间能够相互免密码登录到对方,同时主节点能够免密码登录自身。

(1) 五台独立PC机或虚拟机;
(2) 主机之间有有效的网络连接;
(3) 每台主机内存2G以上,磁盘50G;
(4) 所有主机上已安装CentOS 7.4_64操作系统。

集群规划
将五台主机中的主机1和主机2作为主节点,主机3,主机4,主机5作为其它节点。

IP地址

主机名

192.168.10.111

Cluster-01

192.168.10.112

Cluster-02

192.168.10.113

Cluster-03

192.168.10.114

Cluster-04

192.168.10.115

Cluster-05

1. 静态网络地址配置
1.1 该项的所有操作步骤需要使用root用户进行;
1.2 该项需要在集群中每台主机上进行单独设置。
1.3 相关命令:vi /etc/sysconfig/network-scripts/ifcfg-ens33
Ifconfig ens33
Service network restart
Ping 修改的IP地址

(1) 查看网卡ens33的配置,查看网络是否通过配置文件管理;

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_免密码登录


(2) 添加文件,使得网络通过配置文件管理,同时设置IP地址;

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_Hadoop集群免密码登录实验_02


(3) 查看IP地址是否合适,网络是否正常;

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_Hadoop集群免密码登录实验_03


(4) 进行ping验证能否ping通;

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_hadoop忘记密码认证令牌操作错误_04


2. 主机名配置

2.1 该项的所有操作步骤需要使用root用户进行;

2.2 该项需要在集群中每台主机上进行单独设置;

2.3 若在安装系统时已经设置了正确的主机名,可以跳过。

2.4 相关命令:cat /etc/hostname

Vi /etc/hostname

Reboot

(1) 查看/etc/hostname中内容;

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_IP_05


(2) 修改主机名为Cluster-01;

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_免密码登录_06


(3) 重启查看;

reboot

3. 防火墙配置

3.1 该项的所有操作步骤需要使用root用户进行;

3.2 该项需要在集群中每台主机上进行单独设置;

3.3 CentOS 7.4操作系统默认使用的防火墙为firewalld,不再是传统的Iptables。

方法一:配置防火墙策略

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_主机名_07


hadoop忘记密码认证令牌操作错误 hadoop免密码登录_主机名_08


方法二:关闭防火墙

3.4 相关命令:service firewalld stop(或者Systemctl stop firewalld.service) //关闭防火墙服务

Systemctl disable firewalld.service //禁止开机自启动

Service firewalld status(或者Systemctl status firewalld.service) //查看防火墙状态

(1) 关闭防火墙服务,查看是否关闭;

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_免密码登录_09


(2) 禁止防火墙服务开机自动启动;

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_Hadoop集群免密码登录实验_10


(3) 禁止开机自启动后查看防火墙状态与先关闭防火墙,查看状态,两者显示出来的是不太相同的;

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_主机名_11

(4) 关闭SeLinux服务,采用临时关闭服务;(这也是CentOS7中的一种防火墙)

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_Hadoop集群免密码登录实验_12


(5) CentOS 7中没有Iptables防火墙服务;

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_Hadoop集群免密码登录实验_13


4. 主机地址映射配置

4.1 该项的所有操作步骤需要使用root用户进行;

4.2 相关命令;cat /etc/hosts

Srp –r /et/hosts/ root@192.168.10.112:/etc

(1) 查看/etc/hosts内容,并在末尾添加集群中所有主机的IP地址与主机名的映射关系;

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_免密码登录_14


hadoop忘记密码认证令牌操作错误 hadoop免密码登录_主机名_15


(2) 再查看一次,确保加入(同时确保其他主机里面也集群加入到);

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_IP_16


(3) 将配置文件”hosts”发送给集群中所有其它主机,发送目标用户为“root”,发送目标路径为”/etc”。

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_IP_17


5. 免密码登录配置

5.1 该项的所有操作步骤使用每台集群主机新建一个用户名相同的专门用于集群的用户hadoop或者admin进行,实验中采用admin;

5.2 每台主机都要进行本项操作。5台登录互相免密码。包括每台主机也要给本机也要给本机执行拷贝公钥文件;

5.3 连接xshell,在xshell操作;

(1) 连接xshell,在虚拟网络编辑器里将VMnet8网段改为192.168.10.0;

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_IP_18


(2) 打开xshell进行连接操作,点击新建会话;

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_Hadoop集群免密码登录实验_19


(3) 新建会话,输入名称和主机地址连接;

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_免密码登录_20


(4) 显示你刚才建立的新会话;

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_IP_21


(5) 如图建立会话连接成功,输入用户名,勾选记住用户名;

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_IP_22


(6) 输入登录密码,勾选记住密码;

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_Hadoop集群免密码登录实验_23


(7) 连接成功;

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_hadoop忘记密码认证令牌操作错误_24


(8) 五台虚拟机都连接到xshell;

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_IP_25


第一步:新建用于集群的admin用户,每台主机都建一个,并设置密码;

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_Hadoop集群免密码登录实验_26

第二步:免密码登录设置;
命令:
$ssh-keygen –t rsa #生成本机系统当前登录用户的公钥和私钥文件;
$l. #显示~目录下的隐藏文件
$cd .ssh #进入.ssh目录
$ls #显示目标列表,这里可以看到id_rsa.pub公钥文件
$ssh-copy-id -I ~/.ssh/id_rsa.pub admin@Cluster-02
#将公钥文件拷贝给需要进行免密码登录的目标主机和目标用户,包括本机把本机的公钥追到目标主机的,ssh/authorized_keys里面。

(1) ssh-keygen –t rsa;

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_免密码登录_27


(2) l.,cd .ssh,ls命令操作;

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_hadoop忘记密码认证令牌操作错误_28


(3) 将公钥文件拷贝给需要进行免密码登录的目标主机和目标用户,包括本机把本机的公钥追到目标主机的,ssh/authorized_keys里面。

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_hadoop忘记密码认证令牌操作错误_29


第三步:验证免密码登录

命令:#ssh admin Cluster-02 (如果没有提示让你输入Cluster-02的admin用户的密码,说明配置正确)。

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_IP_30

测试Cluster-01登录本身,Cluster-02,Cluster-03,Cluster-04,Cluster-05免密码能否登录成功;

hadoop忘记密码认证令牌操作错误 hadoop免密码登录_hadoop忘记密码认证令牌操作错误_31


hadoop忘记密码认证令牌操作错误 hadoop免密码登录_Hadoop集群免密码登录实验_32


hadoop忘记密码认证令牌操作错误 hadoop免密码登录_免密码登录_33


hadoop忘记密码认证令牌操作错误 hadoop免密码登录_hadoop忘记密码认证令牌操作错误_34


hadoop忘记密码认证令牌操作错误 hadoop免密码登录_IP_35


至此,Hadoop集群免密码登录完毕。