由于实践部分主要以 Hadoop 1.0 环境为主,所以这主要介绍如何搭建 Hadoop 1.0

分布式环境。

整个分布式环境运行在带有linux操作系统的虚拟机上,至于虚拟机和linux系统的安

装这里暂不做过多介绍。

安装 Hadoop 分布式环境:

1) 下载 Hadoop 安装包:

在http://pan.baidu.com/s/1qXSN3hM地址中可以找到hadoop-1.2.1-bin.tar.gz

文件

使用securtCRT的rz功能上传hadoop-1.2.1-bin.tar.gz这个文件到虚拟机的系统中。

同样在 securtcrt 中 ll 时,能得到

开启hadoop截屏 hadoop安装截图_hadoop

 

2) 安装 Hadoop 安装包:

 首先将安装包解压缩:

开启hadoop截屏 hadoop安装截图_开启hadoop截屏_02

 

 Linux 终端执行 cd 进入相应目录:

开启hadoop截屏 hadoop安装截图_测试帮日记_03

 

 新增 tmp 目录,mkdir /home/hadoop/hadoop-1.2.1/tmp

开启hadoop截屏 hadoop安装截图_大数据_04

 

3) 配置 Hadoop:

 使用 vim 修改 master 文件内容:

开启hadoop截屏 hadoop安装截图_测试帮日记_05

 

将 localhost 修改成 master:

最后保存退出。

 修改 slaves 文件

注意,这里准备设置几台 slave 机器,就写几个,因为当前分布式环境有四个虚拟机,

一台做 master,三台做 slave,所以这里写成了三个 slave

开启hadoop截屏 hadoop安装截图_hadoop_06

 

 修改 core-site.xml 文件:

开启hadoop截屏 hadoop安装截图_开启hadoop截屏_07

 

【注意】中间的 ip 地址,不要输入 192.168.2.55,根据自己的情况设置。

 修改 mapred-site.xml 文件:

开启hadoop截屏 hadoop安装截图_大数据_08

 

【注意】记得 value 的内容要以http 开头。

 修改 hdfs-site.xml 文件:

开启hadoop截屏 hadoop安装截图_测试帮日记_09

 

其中,<value>3</value>视情况修改,如果有三台 slave 机器,这里设置成 3,如果

只有 1 台或 2 台,修改成对应的值即可。

 修改 hadoo-env.sh 文件

开启hadoop截屏 hadoop安装截图_小强测试_10

 

下新增 export JAVA_HOME=/home/hadoop/jdk1.6.0_45/

开启hadoop截屏 hadoop安装截图_测试帮日记_11

 

 修改本地网络配置:编辑/etc/hosts 文件

开启hadoop截屏 hadoop安装截图_开启hadoop截屏_12

 

【注意】Ip 地址根据具体的情况要进行修改。

4) 复制虚拟机

 关闭当前虚拟机,并复制多份

开启hadoop截屏 hadoop安装截图_开启hadoop截屏_13

 

【注意】要选择初始化所有网卡的 mac 地址

开启hadoop截屏 hadoop安装截图_小强测试_14

 

根据自己需求,复制 2到 3 台虚拟机作为 slave,同样要确认网络连接方式为桥接。

 设置所有机器的 IP 地址

分别启动虚拟机,修改机器的 ip 地址,在虚拟机的图形界面里,选择设置

单击打开,在弹出来的窗口里,选择network

开启hadoop截屏 hadoop安装截图_小强测试_15

 

打开 options,修改成如下的形式,选择 ipv4 ,分配方式选择成 manual。

【注意】具体的ip地址,根据实际的情况来设置,因为培训教室里都是192.168.2.x的

网段,所以我这里设置成了 192.168.2.x,每个人选择自己的一个ip地址范围,注意不要和

其它人冲突了。

开启hadoop截屏 hadoop安装截图_测试帮日记_16

 

5) 建立互信关系

 生成公私钥,在 master 机器的虚拟机命令行下输入 ssh-keygen,一路回车,全

默认

开启hadoop截屏 hadoop安装截图_测试帮日记_17

 

 复制公钥

复制一份 master 的公钥文件,cat ~/.ssh/id_rsa.pub >> ~/.ssh/authorized_keys

同样,在所有的 slave 机器上,也在命令行中输入 ssh-keygen,一路回车,全默认

在所有的 salve 机器上,从 master 机器上复制 master 的公钥文件:

开启hadoop截屏 hadoop安装截图_开启hadoop截屏_18

 

 测试连接

在 master 机器上分别向所有的 slave 机器发起联接请求:

如:ssh slave1

开启hadoop截屏 hadoop安装截图_开启hadoop截屏_19

 

【注意】记得一旦联接上,所有的操作,就视同在对应的 slave 上操作,所以一定要记

得使用 exit 退出联接。

6) 启动 Hadoop:

 初始化:在 master 机器上,进入/home/hadoop/hadoop-1.2.1/bin 目录

在安装包根目录下运行./hadoop namenode –format来初始化hadoop的文件系统。

开启hadoop截屏 hadoop安装截图_hadoop_20

 

 启动

执行./start-all.sh,如果中间过程提示要判断是否,需要输入 yes

开启hadoop截屏 hadoop安装截图_hadoop_21

 

输入 jps,查看进程是否都正常启动。

开启hadoop截屏 hadoop安装截图_小强测试_22

 

如果一切正常,应当有如上的一些进程存在。

7) 测试系统

输入./hadoop fs –ls /

开启hadoop截屏 hadoop安装截图_测试帮日记_23

 

能正常显示文件系统。

如此,hadoop 系统搭建完成。否则,可以去/home/hadoop/hadoop-1.2.1/logs 目

录下,查看缺少的进程中,对应的出错日志。