测试环境:


系统: centos 5.5
安装包: hadoop-0.20.2.tar.gz jdk1.6.0
虚拟机三台: 192.168.1.239为namenode 192.168.1.123为datanode123 192.168.1.222为datanode222

目的:

    对hadoop安装配置使用做一个初步的认识。为深入研究了学习hadoop做一个铺垫。


1.. 配置ssh无密码登录和hosts文件
2.. 安装 jdk环境
3.. 系统环境变量配置
4.. 安装配置hadoop


1.. 配置ssh无密码登录
    使用namenode.hdp.com能够登录两台datanode222和datanode123

  1. ssh-keygen -t rsa 
  2. cat .ssh/id_rsa.pub | ssh hadoop@192.168.1.123 "cat >>/home/hadoop/.ssh/authorized_keys" 
  3. cat .ssh/id_rsa.pub | ssh hadoop@192.168.1.222 "cat >>/home/hadoop/.ssh/authorized_keys" 


测试
ssh 192.168.1.123
ssh 192.168.1.222

cat /etc/hosts

  1. #### hadoop 
  2. 192.168.1.239 namenode.hdp.com 
  3. 192.168.1.222 datanode222.hdp.com 
  4. 192.168.1.123 datanode123.hdp.com 



测试
ping namenode.hdp.com

2.. 安装 jdk环境
./jdk-6u33-linux-i586.bin
最后按一下回车即可.

3..  系统环境变量配置
vim /etc/profile
在文件最后加上

  1. export JAVA_HOME=/usr/local/jdk1.6.0_33 
  2. export JRE_HOME=/usr/local/jdk1.6.0_33/jre 
  3. export CLASSPATH=".:$JAVA_HOME/lib:$JRE_HOME/lib:$CLASSPATH" 
  4. export PATH="$JAVA_HOME/bin:$JRE_HOME/bin:$PATH" 



测试java环境

  1. [root@station jdk1.6.0_33]# java -version 
  2. java version "1.6.0_33" 
  3. Java(TM) SE Runtime Environment (build 1.6.0_33-b04) 
  4. Java HotSpot(TM) Client VM (build 20.8-b03, mixed mode, sharing) 



4.. 安装配置hadoop
tar zxvf hadoop-0.20.2.tar.gz
cd hadoop-0.20.2

配置:

  1. vim hadoop-env.sh 
  2. export JAVA_HOME=/usr/local/jdk1.6.0_33 
  3.  
  4. vim core-site.xml 
  5. <?xml version="1.0"?> 
  6. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
  7.  
  8. <!-- Put site-specific property overrides in this file. --> 
  9.  
  10. <configuration> 
  11.     <property> 
  12.         <name>hadoop.tmp.dir</name> 
  13.         <value>/home/hadoop/tmp</value> 
  14.     </property> 
  15.     <property> 
  16.         <name>fs.default.name</name> 
  17.         <value>hdfs://namenode.hdp.com:9000</value> 
  18.     </property> 
  19. </configuration> 
  20.  
  21. vim hdfs-site.xml 
  22. <?xml version="1.0"?> 
  23. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
  24.  
  25. <!-- Put site-specific property overrides in this file. --> 
  26.  
  27. <configuration> 
  28.     <property> 
  29.         <name>dfs.name.dir</name> 
  30.         <value>/home/hadoop/name</value> 
  31.     </property> 
  32.     <property> 
  33.         <name>dfs.data.dir</name> 
  34.         <value>/home/hadoop/data</value> 
  35.     </property> 
  36.     <property> 
  37.         <name>dfs.replication</name> 
  38.         <value>1</value> 
  39.     </property> 
  40. </configuration> 
  41.  
  42. vim mapred-site.xml 
  43. <?xml version="1.0"?> 
  44. <?xml-stylesheet type="text/xsl" href="configuration.xsl"?> 
  45.  
  46. <!-- Put site-specific property overrides in this file. --> 
  47.  
  48. <configuration> 
  49.     <property> 
  50.         <name>mapred.job.tracker</name> 
  51.         <value>localhost:9001</value> 
  52.     </property> 
  53. </configuration> 



hadoop服务启动
首先文件系统格式化

  1. cd /home/hadoop/hadoop-0.20.2 
  2. ./hadoop namenode -format 



start-all.sh(全部启动)

打开浏览器,分别输入网址:
    http://namenode.hdp.com:50030 (MapReduce的Web页面)   可以查看jobtracker状态,map reduce完成情况
    http://namenode.hdp.com:50070 (HDFS的Web页面)   可以查看到数据节点的状态

应该可看到下面截面

 

 

 

 点击Live Nodes 进入查看详细信息