操作系统环境: Linux ubuntu 3.2.0-23-generic-pae

Hadoop版本: hadoop-1.0.3


master: 192.168.1.2

slaver: 192.168.1.3


一, SSH免密码

    通过ssh-keygen产生公私钥,将公钥copy到希望免ssh密码登陆的机子上。

    master上操作:

su hadoop

cd /home/hadoop

ssh-keygen -t rsa -P ''

cat .ssh/id_rsa.pub >> .ssh/authorized_keys

/etc/init.d/ssh restart


ssh localhost

测试本机是否免密码


scp ~/.ssh/id_rsa.pub hadoop@192.168.1.3:~/

将id_rsa.pub拷贝到192.168.1.3:/home/hadoop/id_rsa.pub


    slave上的操作:

su hadoop

cd /home/hadoop

cat id_rsa.pub >> .ssh/authorized_keys

rm id_rsa.pub

二, 安装java设置路径

export JAVA_HOME=/usr/java/jdk1.6.0_31

export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib


chown –R hadoop:hadoop hadoop #将文件夹"hadoop"读权限分配给hadoop用户

export HADOOP_HOME=/usr/hadoop


export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME:$HADOOP_HOME/bin


三, 配置文件

in master

mkdir /usr/hadoop/tmp

chown -R hadoop /usr/hadoop


vi /usr/hadoop/conf/hadoop-env.sh

export JAVA_HOME=/usr/java/jdk1.6.0_31

vi /usr/hadoop/conf/core-site.xml

hadoop.tmp.dir

/usr/hadoop/tmp

(备注:请先在 /usr/hadoop 目录下建立 tmp 文件夹)

temporary directories.

fs.default.name

hdfs://192.168.1.2:9000

vi /usr/hadoop/conf/hdfs-site.xml

dfs.replication

1

vi /usr/hadoop/conf/mapred-site.xml

mapred.job.tracker

http://192.168.1.2:9001

vi /usr/hadoop/conf/masters

192.168.1.2

vi /usr/hadoop/conf/slaves

192.168.1.3

in slaves

将master的整个hadoop目录copy到slaves就可以了, slaves的配置和master的配置基本一样

scp -r /usr/hadoop hadoop@192.168.1.3:/usr

四,运行

在master上执行命令

格式化namenode

hadoop namenode -format

在namenode,开启服务

start-all.sh

在namenode,关闭服务

stop-all.sh

namenode离开安全模式

hadoop dfsadmin -safemode leave

验证:

jps

hadoop dfsadmin -report

192.168.1.2:50030   mapreduce admin

192.168.1.2:50070   namenode  admin