目录
一、安装准备
二,安装虚拟机
三丶安装部署Hadoop集群
到这里咱们的集群就部署完毕了!!
一、安装准备
vm15pro,centos6.9,jdk1.8,hadoop2.7.4,SecureCR+SecureFX 7.0.0 Build 326(64位版)
二,安装虚拟机
(1)新建虚拟机






(2)编辑虚拟机设置


(3)初始化虚拟机











创建三个文件夹,方便以后使用

(4)克隆虚拟机
右键点击hadoop01,选择管理,选择克隆


同样克隆hadoop03
(5)配置虚拟机网络
点击编辑 --> 网络首选项,查看可以使用的ip段

修改主机名

分别改称hadoop01,hadoop02,hadoop03
更改ip主机映射,左边的ip地址根据刚才看的范围自己写



更改MAC地址(在虚拟机设置,网络适配器中查看MAC地址),只保留eth0,删除eth1


更改网卡信息如下图

验证配置是否正确

(6)配置SSH
先设置网络连接模式为 仅主机模式,不要使用NAT模式,NAT模式的ip网段和主机是不连通的。

查看是否安装ssh和是否开启ssh服务


将划红线一行注释去掉

重启ssh服务

打开CRT远程连接工具,选择左上角文件 --> 快速链接



(7)配置免密登录
输入命令后连续敲四次回车即可


将公钥复制到本机和hadoop02和hadoop03

如图显示命令不存在,需要安装ssh,三台虚拟机都要安装

这里如果安装失败可能是虚拟机不能访问外网的缘故,请参照这里使虚拟机可以联网

现在复制成功了,同理复制到hadoop03。然后在其他两台虚拟机进行同样的操作。
三丶安装部署Hadoop集群
(1)安装JDK
使用rz命令将安装包传输到虚拟机hadoop01中并解压
(须提前下载rz)



给他把名字缩短一下

配置JDK环境变量



验证是否安装成功

(2)安装Hadoop
同JDK的安装,使用rz将Hadoop安装包上传到hadoop01,并解压

别忘了给Hadoop改名,然后配置环境变量




(3)Hadoop集群部署
先配置文件


再配置core-site.xml文件,这里的tmp目录用于存放hadoop临时文件,需要咱们自己提前创建

修改hdfs-site.xml文件

修改mapred-site.xml


修改yarn-site.xml

修改slaves文件

将主节点配置文件分发给其他节点

然后分别在hadoop02,hadoop03上执行如下命令刷新配置信息

(4)Hadoop集群测试
使用如下命令格式化文件系统


这样就是格式化成功
启动集群所有机器的HDFS和YARN服务


hadoop01,hadoop02,hadoop03进程应分别如下



使用UI界面查看Hadoop运行状况
①先关闭所有主机的防火墙

②在浏览器访问 服务器ip地址:8088和 服务器ip地址:50070


到这里咱们的集群就部署完毕了!!
总结以下经验:
一丶千里之堤,溃于蚁穴。安装时一定要细心,每一个细节都不能错。
二丶百度和谷歌是个好东西,希望人人都会科学使用它们。
















