操作系统环境: Linux ubuntu 3.2.0-23-generic-pae
Hadoop版本: hadoop-1.0.3
master: 192.168.1.2
slaver: 192.168.1.3
一, SSH免密码
通过ssh-keygen产生公私钥,将公钥copy到希望免ssh密码登陆的机子上。
master上操作:
su hadoop
cd /home/hadoop
ssh-keygen -t rsa -P ''
cat .ssh/id_rsa.pub >> .ssh/authorized_keys
/etc/init.d/ssh restart
ssh localhost
测试本机是否免密码
scp ~/.ssh/id_rsa.pub hadoop@192.168.1.3:~/
将id_rsa.pub拷贝到192.168.1.3:/home/hadoop/id_rsa.pub
slave上的操作:
su hadoop
cd /home/hadoop
cat id_rsa.pub >> .ssh/authorized_keys
rm id_rsa.pub
二, 安装java设置路径
export JAVA_HOME=/usr/java/jdk1.6.0_31
export CLASSPATH=.:$CLASSPATH:$JAVA_HOME/lib:$JAVA_HOME/jre/lib
chown –R hadoop:hadoop hadoop #将文件夹"hadoop"读权限分配给hadoop用户
export HADOOP_HOME=/usr/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$JAVA_HOME/jre/bin:$HADOOP_HOME:$HADOOP_HOME/bin
三, 配置文件
in master
mkdir /usr/hadoop/tmp
chown -R hadoop /usr/hadoop
vi /usr/hadoop/conf/hadoop-env.sh
export JAVA_HOME=/usr/java/jdk1.6.0_31
vi /usr/hadoop/conf/core-site.xml
hadoop.tmp.dir
/usr/hadoop/tmp
(备注:请先在 /usr/hadoop 目录下建立 tmp 文件夹)
temporary directories.
fs.default.name
hdfs://192.168.1.2:9000
vi /usr/hadoop/conf/hdfs-site.xml
dfs.replication
1
vi /usr/hadoop/conf/mapred-site.xml
mapred.job.tracker
http://192.168.1.2:9001
vi /usr/hadoop/conf/masters
192.168.1.2
vi /usr/hadoop/conf/slaves
192.168.1.3
in slaves
将master的整个hadoop目录copy到slaves就可以了, slaves的配置和master的配置基本一样
scp -r /usr/hadoop hadoop@192.168.1.3:/usr
四,运行
在master上执行命令
格式化namenode
hadoop namenode -format
在namenode,开启服务
start-all.sh
在namenode,关闭服务
stop-all.sh
namenode离开安全模式
hadoop dfsadmin -safemode leave
验证:
jps
hadoop dfsadmin -report
192.168.1.2:50030 mapreduce admin
192.168.1.2:50070 namenode admin