本文主要介绍了hadoop1.2版本集群的安装步骤



1分布结构

由于是实验环境,所以只是简单的实现hadoop1.2版本的集群:

主节点(1个,是hadoop0):NameNode、JobTracker

从节点(2个,是hadoop1、hadoop2):DataNode、TaskTracker,其中hadoop1还包含SecondaryNameNode


2 各节点重新产生ssh加密文件(可参照hadoop1伪分布安装过程中的加密文件生成步骤)


3 编辑各个节点的/etc/hosts,在该文件中含有所有节点的ip与hostname的映射信息

在这里,3台机器的ip和hosts对应如下:

Hadoop初学指南(9)--hadoop1的集群安装_主机


之后4到7步为可选步骤,在实验环境中可以直接在VM中复制一台主机生成另两台主机,但在实际生产中,可以用下面的方法把hadoop0中的配置依次复制到各个主机(当然肯定是用脚本批量复制了)。


4 两两节点之间的SSH免密码登陆

        命令如下:

        ssh-copy-id -i  hadoop1

        scp /root/.ssh/authorized_keys   hadoop1:/root/.ssh/ 


5 把hadoop0的hadoop目录下的logs和tmp删除


6 把hadoop0中的jdk、hadoop文件夹复制到hadoop1和hadoop2节点

        命令如下:

        scp  -r /usr/local/jdk   hadoop1:/usr/local/


7 把hadoop0的/etc/profile复制到hadoop1和hadoop2节点,在目标节点中执行source  /etc/profile


8 编辑hadoop0的配置文件slaves,改为从节点的hostname,分别是hadoop1和hadoop2,修改配置文件masters,改为从节点的hostname(hadoop1)。

Hadoop初学指南(9)--hadoop1的集群安装_主机_02


9 格式化,在hadoop0节点执行hadoop namenode -format


10 启动,在hadoop0节点执行start-all.sh

Hadoop初学指南(9)--hadoop1的集群安装_集群_03Hadoop初学指南(9)--hadoop1的集群安装_hadoop_04

Hadoop初学指南(9)--hadoop1的集群安装_集群_05


至此hadoop1.2版本的集群配置完毕,各个节点情况如图所示。



****注意:对于配置文件core-site.xml和mapred-site.xml在所有节点中都是相同的内容。