Hadoop yarn环境变量配置 如何配置hadoop环境变量

Hadoop的环境变量的配置

1.进入系统变量，右键单击我的电脑 –>属性 –>高级环境变量配置 –>高级选项卡 –>环境变量 –> 单击新建HADOOP_HOME

2.在系统变量path 里面 添加 %HADOOP_HOME%\bin;

3.测试：打开命令行cmd ,在任意路径下输入hadoop命令，返回一下结果即配置正确

修改hadoop配置文件

1.编辑并保存“D:\Program Files\hadoop-2.7.2\etc\hadoop”下的core-site.xml文件

<configuration>
   <property>
        <name>hadoop.tmp.dir</name>
        <value>/D:/Program Files/hadoop-2.7.2/workplace/tmp</value>
    </property>
    <property>
        <name>dfs.name.dir</name>
        <value>/D:/Program Files/hadoop-2.7.2/workplace/name</value>
    </property>
    <property>
        <name>fs.default.name</name>
        <value>hdfs://localhost:9000</value>
    </property>
</configuration>

2.编辑并保存“D:\Program Files\hadoop-2.7.2\etc\hadoop”目录下的mapred-site.xml(没有就将mapred-site.xml.template重命名为mapred-site.xml)文件

<configuration>
    <property>
       <name>mapreduce.framework.name</name>
       <value>yarn</value>
    </property>
    <property>
       <name>mapred.job.tracker</name>
       <value>hdfs://localhost:9001</value>
    </property>
</configuration>

3.编辑并保存“D:\Program Files\hadoop-2.7.2\etc\hadoop”目录下的hdfs-site.xml文件请自行创建data目录，在这里我是在HADOOP_HOME目录下创建了workplace/data目录；

<configuration>
    <!-- 参数设置为1 -->
    <property>
        <name>dfs.replication</name>
        <value>1</value>
    </property>
    <property>
        <name>dfs.data.dir</name>
        <value>/D:/Program Files/hadoop-2.7.2/workplace/data</value>
    </property>
</configuration>

4.编辑并保存“D:\Program Files\hadoop-2.7.2\etc\hadoop”目录下的yarn-site.xml文件

<configuration>
    <property>
       <name>yarn.nodemanager.aux-services</name>
       <value>mapreduce_shuffle</value>
    </property>
    <property>
       <name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
       <value>org.apache.hadoop.mapred.ShuffleHandler</value>
    </property>
</configuration>

5.编辑“D:\Program Files\hadoop-2.7.2\etc\hadoop”目录下的hadoop-env.cmd文件，将JAVA_HOME用 @rem注释掉，编辑为JAVA_HOME的路径，然后保存；

@rem set JAVA_HOME=%JAVA_HOME%

set JAVA_HOME=D:\java\jdk --jdk安装路径