Hadoop之——配置文件的作用

1.hadoop-env.sh

主要用来配置Hadoop JDK

export JAVA_HOME=/usr/local/jdk1.8.0_212

2.core-site.xml

• 指定namenode的位置
• hadoop.tmp.dir 是hadoop文件系统依赖的基础配置，很多路径都依赖它。如果hdfs-site.xml中不配置namenode和datanode的存放位置，默认就放在这个路径中。

<configuration>
  <property>
    <name>fs.defaultFS</name>
    <value>hdfs://binghe100:9000</value>
  </property>
  <property>
    <name>hadoop.tmp.dir</name>
    <value>/usr/local/hadoop-3.2.0/tmp</value>
  </property>
</configuration>

3.hdfs-site.xml

• 配置namenode和datanode存放文件的具体路径
• 配置副本的数量，最小值为3，否则会影响到数据的可靠性

<configuration>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/usr/local/hadoop-3.2.0/data/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/usr/local/hadoop-3.2.0/data/data</value>
  </property>
  <property>
    <name>dfs.replication</name>
    <value>3</value>
  </property>
  <property>
    <name>dfs.secondary.http.address</name>
    <value>binghe100:50090</value>
  </property>
</configuration>

4.yarn-site.xml

• yarn.resourcemanager.hostname:资源管理器所在节点的主机名
• yarn.nodemanager.aux-services:一个逗号分隔的辅助服务列表，这些服务由节点管理器执行。该属性默认为空。

<configuration>
  <property> 
    <name>yarn.resourcemanager.hostname</name>
    <value>binghe100</value>
  </property>
  <property>
    <name>yarn.nodemanager.aux-services</name>
    <value>mapreduce_shuffle</value>
  </property>
</configuration>

5.mapred-site.xml

• Hadoop3.0之前，此文件本身是没有的，需要将mapred-site.xml.template重命名
• mapreduce.framework.name:决定mapreduce作业是提交到 YARN集群还是使用本地作业执行器本地执行。

<configuration>
  <property>
    <name>mapreduce.framework.name</name>
    <value>yarn</value>
  </property>
</configuration>

至此，配置文件介绍完毕。