1、安装基础工具



ssh



2、安装JDK



将下载源码包jdk-7u4-linux-x64.tar.gz
放到目录:/usr/lib/jvm下(这里位置目录可以自己定义,JDK环境变量需要对应)
直接解压:tar zxvf jdk-7u4-linux-x64.tar.gz 



3、安装hadoop-1.0.3.tar.gz

3.1、将下载包解压到根目录tar xzvf hadoop-1.0.3.tar.gz

3.2、修改hadoop-env.sh配置



  • vi conf/hadoop-env.sh 
  • # 找到JAVA_HOME设置:export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_04 
  • # 在文件末尾加以下内容, 取消环境变量$HADOOP_HOME过时的警告:export HADOOP_HOME_WARN_SUPPRESS=1



4、配置环境变量(集群节点都要配置环境变量)



vi /etc/profile



在文件中末尾加入以下内容:


export JAVA_HOME=/usr/lib/jvm/jdk1.7.0_04
 export PATH=$JAVA_HOME/bin:$PATH
 export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar
 export HADOOP_HOME=/hadoop-1.0.3
 export PATH=$PATH:$HADOOP_HOME/bin


让环境变量生效



source /etc/profile






5、使用ssh公钥密钥自动登陆linux服务器


实现原理

使用一种被称为"公私钥"认证的方式来进行ssh登录. "公私钥"认证方式简单的解释是


首先在客户端上创建一对公私钥 (公钥文件:~/.ssh/id_rsa.pub; 私钥文件:~/.ssh/id_rsa)


然后把公钥放到服务器上(~/.ssh/authorized_keys), 自己保留好私钥


当ssh登录时,ssh程序会发送私钥去和服务器上的公钥做匹配.如果匹配成功就可以登录了


这里nameNode服务器需要ssh无密码访问所有dataNode服务器。




第一步,用ssh-keygen -t rsa 生成一个rsa公钥,不带密码,也就是你ssh到某一个地方的凭证



第二步,就是分发你的公钥到其他的机子上,作为authorized_keys



这一步比较关键,远程拷贝你的ssh公钥到其他的主机上,scp id_rsa.pub user@ip:path,拷贝之后,再把这个公钥添加到当前主机的authorized_keys,注意是添加,不是覆盖,因此你需要用的是 cat id_rsa.pub >> authorized_keys

第三步,测试

现在假如你用hadoop1机器可以无密码ssh到hadoop2,那么同样的你要在hadoop2中按照前两步那样 生成一个公钥id_rsa.pub,并且你会在最后一行看到****== hadoop@hadoop2, 此时你需要把这个.pub添加到你的authorized_keys中,同样需要的是cat id_rsa.pub >> authorized_keys,然后按照同样的方式 分发你的id_rsa.pub到其他的主机上,并且把它添加到对应主机的authorized_keys中,至此你就可以在各个主机之前无限制穿梭了。