HADOOP安装过程

(一) 硬件环境

此次的作业,在之前的一个成功配置的基础之上,鉴于Ubuntu的操作系统,Server的占用内存比较小,启动较快,同时为了减轻机器的负担。做了如下的选择。

操作系统

虚拟机

安装的系统

虚机数

CPU

RAM

Win7

Vmware 9

Ubuntu 12.04LTS Server

4台

I3 2310

6GB

(二)软件环境

由于Ubuntu的预装的程序较少,所以我自行安装了SSH程序,Ubuntu需要修改更新源(加快下载软件速度),这里就不具体描述了,修改/etc/apt/sources.list此更新源为163的源。

 

Hadoop版本

JDK版本

SSH

0.20.2

jdk-6u37-linux

OPENSSH-SERVER

(三)网络环境

连接方式

Vmware设置成NAT连接方式

 

 

结点

IP地址

域名

备注

Master

192.168.100.100

master

hadoop中master结点

Slave1

192.168.100.101

slave1

hadoop中slave结点

Slave2

192.168.100.102

slave2

hadoop中slave结点

Server

192.168.100.253

server

DNS,NFS服务器

/

192.168.100.254

/

Vmware里面的网关和DNS服务器

 

(四)安装步骤

步骤1

安装虚拟机,命名规范,用作于Master主机,后面用于复制。

步骤2,

配置HADOOP连接为NAT,关闭Floppy的开机连接等不必要的设备,设置好DNS

步骤3,

配置etc.network.interfaces,网关按照VMWARE中的设置设置,限定好IP地址

步骤4,

配置SSH SERVER来用SecureCrt连接,方便统一管理

步骤5,

修改HOSTNAME为规范的配置,修改HOSTS里面的本地对应的名称,要和hostname一致,否则会因为找不到对应主机而发生错误

hostname

hosts

步骤6,

在hadoop到新建的download文件夹中,并安装HADOOP到/usr/hadoop

步骤7,

JDK安装。安装好hadoop和JDK后。,配置etc.profile中的jdk和HADOOP环境变量

步骤8,

配置Hadoop中的SLAVES和MASTERS文件。

slaves

masters

步骤9,

配置hadoop-ENV.sh中的JAVA主目录,和core-site.xml和mapred-site.xml以及hdfs-site.xml等文件(以上文件均在hadoop/conf中)

hadoop-env.sh
core-site.xml
mapred-site.xml
hdfs-site.xml

 

以上步骤结束后,利用Vmware的克隆功能功能出3份,一份用作于MASTER,其他两个为slave。 修改hostname和hosts文件,分别对应到master,slave1,slave2,按预先分配的设置。

步骤10,

生成ssh密钥,在/home/hadoop文件夹中输入该命令。生成的密钥文件夹为/home/hadoop/.ssh 该文件夹为隐藏文件夹

用作与相互之间ssh的连接,此处分开生成是为了让三份ssh随机生成的密钥不一样,保证安全性。

修改.ssh文件夹的权限,让其他人可读可执行,主要用于无密钥认证。

以MASTER为主将其他主机和本机的密钥放入到authorized_keys中,汇集其他所有密钥后。分发到各台主机,实现全互联的无密钥认证。

步骤11,

以上做好配置,就要对namenode结点进行格式化了,初始化一些设置。

步骤12

启动hadoop,启动成功。


 

遇到的问题:

9001端口没有起来

解决:使用以下命令解决9001端口的连同问题。