目录
一、安装准备
二,安装虚拟机
三丶安装部署Hadoop集群
到这里咱们的集群就部署完毕了!!
一、安装准备
vm15pro,centos6.9,jdk1.8,hadoop2.7.4,SecureCR+SecureFX 7.0.0 Build 326(64位版)
二,安装虚拟机
(1)新建虚拟机
(2)编辑虚拟机设置
(3)初始化虚拟机
创建三个文件夹,方便以后使用
(4)克隆虚拟机
右键点击hadoop01,选择管理,选择克隆
同样克隆hadoop03
(5)配置虚拟机网络
点击编辑 --> 网络首选项,查看可以使用的ip段
修改主机名
分别改称hadoop01,hadoop02,hadoop03
更改ip主机映射,左边的ip地址根据刚才看的范围自己写
更改MAC地址(在虚拟机设置,网络适配器中查看MAC地址),只保留eth0,删除eth1
更改网卡信息如下图
验证配置是否正确
(6)配置SSH
先设置网络连接模式为 仅主机模式,不要使用NAT模式,NAT模式的ip网段和主机是不连通的。
查看是否安装ssh和是否开启ssh服务
将划红线一行注释去掉
重启ssh服务
打开CRT远程连接工具,选择左上角文件 --> 快速链接
(7)配置免密登录
输入命令后连续敲四次回车即可
将公钥复制到本机和hadoop02和hadoop03
如图显示命令不存在,需要安装ssh,三台虚拟机都要安装
这里如果安装失败可能是虚拟机不能访问外网的缘故,请参照这里使虚拟机可以联网
现在复制成功了,同理复制到hadoop03。然后在其他两台虚拟机进行同样的操作。
三丶安装部署Hadoop集群
(1)安装JDK
使用rz命令将安装包传输到虚拟机hadoop01中并解压
(须提前下载rz)
给他把名字缩短一下
配置JDK环境变量
验证是否安装成功
(2)安装Hadoop
同JDK的安装,使用rz将Hadoop安装包上传到hadoop01,并解压
别忘了给Hadoop改名,然后配置环境变量
(3)Hadoop集群部署
先配置hadoop-env.sh文件
再配置core-site.xml文件,这里的tmp目录用于存放hadoop临时文件,需要咱们自己提前创建
修改hdfs-site.xml文件
修改mapred-site.xml
修改yarn-site.xml
修改slaves文件
将主节点配置文件分发给其他节点
然后分别在hadoop02,hadoop03上执行如下命令刷新配置信息
(4)Hadoop集群测试
使用如下命令格式化文件系统
这样就是格式化成功
启动集群所有机器的HDFS和YARN服务
hadoop01,hadoop02,hadoop03进程应分别如下
使用UI界面查看Hadoop运行状况
①先关闭所有主机的防火墙
②在浏览器访问 服务器ip地址:8088和 服务器ip地址:50070
到这里咱们的集群就部署完毕了!!
总结以下经验:
一丶千里之堤,溃于蚁穴。安装时一定要细心,每一个细节都不能错。
二丶百度和谷歌是个好东西,希望人人都会科学使用它们。