引言
网上有很多hadoop分布式部署的步骤和方法,但对于新手来说,搭建这样一套分布式环境,并不能对整个集群环境有一个整体的结构认识,因此本文以图解的方式解释下我们搭建hadoop分布式环境都要做哪些工作
第一步,配置主机名
Namenode节点对应的主机名为master
Datanode节点对应的主机名分别为node1、node2
分别配置master、node1和node2等机器的主机名
这些步骤作用很关键,如果配置不成功,进行分布式计算的时候有可能找不到主机名
第二步,配置主机互信
master能通过SSH免密码登录两个子结点
具体配置步骤,可以参考:hadoop2.7完全分布式集群搭建以及任务测试 这篇博文中的“安装SSH,并让master免验证登陆自身服务器、节点服务器”章节
第三步,配置master节点
第四步,同步master节点的程序和配置文件到各datanode
第五步,格式化namenode
在master节点上执行如下命令:
/usr/local/hadoop/hadoop-2.7.1/bin/hdfs namenode-format
第六步,启动/停止hadoop
主结点master上进行操作:
启动,执行完成后,master、node1和node2等节点的hadoop进程都会启动:
sh /usr/local/hadoop/hadoop-2.7.1/sbin/start-all.sh
停止,执行完成后,master、node1和node2等节点的hadoop进程都会停止:
sh /usr/local/hadoop/hadoop-2.7.1/sbin/stop-all.sh
第七步,查看hadoop状态
master:
node1:
node2:
至此,部署完成!
本文主要是通过图解的方式说明整个部署的流程,初学者可以有个整体的认识和把握,
详细的部署方法,可以参考:hadoop2.7完全分布式集群搭建以及任务测试