Hadoop-3.0.0测试（单机）环境搭建

原创

马超的博客 2022-11-28 15:46:48 ©著作权

文章标签 hadoop java 测试 xml hdfs 文章分类 OpenStack 云计算

©著作权归作者所有：来自51CTO博客作者马超的博客的原创作品，请联系作者获取转载授权，否则将追究法律责任

下载hadoop-3.0.0解压到本地（基于jdk-1.8开发，jdk-1.7已停止更新）
http://www-us.apache.org/dist/hadoop/common/hadoop-3.0.0-alpha1/hadoop-3.0.0-alpha1.tar.gz
修改/etc/hosts
增加本机ip和用户名的映射
修改配置文件

1.hadoop-env.sh

export JAVA_HOME=/usr/lib/jvm/jre-1.8.0-openjdk.x86_64

2.workers

3.mapred-site.xml

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>

4.core-site.xml

<!-- Put site-specific property overrides in this file. -->

<configuration>
<property>
  <name>fs.default.name</name>
  <value>hdfs://localhost:8020</value>
  //注意这个得localhost为wokers里面设置的，没有修改就写localhost
  </property>
  <property>
  <name>dfs.replication</name>
  <value>1</value>
</property>
</configuration>

5.yarn-site.xml

<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>

</configuration>

6.hdfs-site.xml

<configuration>
  <property>
    <name>dfs.replication</name>
    <value>1</value>
  </property>
  <property>
    <name>dfs.namenode.name.dir</name>
    <value>/home/dongxicheng/hadoop/dfs/name</value>
  </property>
  <property>
    <name>dfs.datanode.data.dir</name>
    <value>/home/dongxicheng/hadoop/dfs/data</value>
  </property>
</configuration>

格式化HDFS

bin/hadoop namenode -format

启动HDFS

sbin/start-dfs.sh

启动YARN

sbin/start-yarn.sh

注意在启动时如果出现警告，无法加载本地类库，需要更换/data/software/hadoop-3.0/lib/native/libhadoop.so.1.0.0这个文件。这个文件可以自己编译源码得到，编译完后在native目录下可以找到。我自己编译过的一份，大家可以下载。https://yunpan.cn/cvRnCGm6764Hj （提取码：b590）
到这里Hadoop-3.0.0单机测试环境搭建完成！

采用虚拟机搭建的Hadoop环境，每次虚拟机重启后，Hadoop无法启动成功。解决方案：
core-site.xml中增加两个配置项

<property>
<name>dfs.namenode.name.dir</name>
<value>/home/myc/Documents/hadoop/dfs/name</value>
</property>
<property>
<name>dfs.namenode.data.dir</name>
<value>/home/myc/Documents/hadoop/dfs/data</value>
</property>