一、本文说明:
     本次测试在一台虚拟机系统上进行伪分布式搭建。Hadoop伪分布式模式是在单机上模拟Hadoop分布式,单机上的分布式并不是真正的伪分布式,而是使 用线程模拟分布式。Hadoop本身是无法区分伪分布式和分布式的,两种配置也很相似。唯一不同的地方是伪分布式是在单机器上配置,数据节点和名字节点均 是一个机器。
 
二、环境说明:
      操作系统:Cent Os 6.7
      hadoop版本:hadoop-2.7.2
      JDK版本:jdk1.8_77
     备注:基于独立模式基础上搭建,参考文章:独立模式的Hadoop环境搭建
 
三、基本环境配置
       1、针对不同的模式在${HADOOP_HOME}/etc/下建立不同的配置文件夹
            独立模式:hadoop_alone(建议)
            伪分布模式:hadoop_presudo(建议)
            完全分布模式:hadoop_cluster(建议)
      2、参数配置目录的指定方式
              A、默认方式:${HADOOP_HOME}/etc/hadoop/*.xml
              B、通过启动参数指定配置目录
                     Start-dfs.sh –config=/path
              C、通过环境变量HADOOP_CONF_DIR=/path(/etc/profile)
       备注:因为搭建伪分布模式:我这里配置的${HADOOP_HOME}/etc/hadoop_presudo
       20160413040129321.png
       20160413040147148.png
 
三、环境搭建
     1、配置${HADOOP_HOME}/etc/hadoop_presudo/core-site.xml
     20160413040608831.png

     2、配置${HADOOP_HOME}/etc/hadoop_presudo/hdfs-site.xml
    20160413040716768.png

 
    3、配置${HADOOP_HOME}/etc/hadoop_presudo/mapred-site.xml
    20160413040805330.png

 
     4、配置${HADOOP_HOME}/etc/hadoop_presudo/yarn-site.xml
     20160413040859775.png

 
    5、格式化HDFS文件系统
     20160413040923742.png

     20160413041032792.png

    6、启动HDFS和YRAN的守护进程(start-dfs.sh,start-yarn.sh)
     20160413041057741.png  

     20160413041134146.png     
备注:停止进程是按照YARN先关闭 然后关闭HDFS,不要频繁的格式化名称节点
 

   7、通过fs操作HDFS里面的文件
              A、创建目录:hadoop fs -mkdir -p /user/Ubuntu
              B、显示目录:hadoop fs -ls -R /
              ……



   8、访问:http://IP:50070
       20160413041224922.png