一)安装环境

centos 7

JDK 1.8.0_181

VMware 12 pro

hadoop 3.1.1


二)安装环境准备

  1. 分布式系统准备

    下面示例中,我安装了3个独立的虚拟机系统,其中HW-Machine作为master,另外2台分别为slaves:

    1.png

  2. Java环境配置        //3台虚拟机均需配置

    JDK安装包的获取以及Java环境的配置,请参考另一篇博文《Centos下Java环境安装配置》。  

  3. 静态IP设置        //3台虚拟机均需设置,并修改/etc/hosts文件及/etc/hostname文件

    由于分布式系统配置时,会写入系统主机名或者主机IP,因此我们需要对Hadoop环境所用的系统主机设置静态IP,具体设置方法,请参考另一篇博《VMware中Centos系统设置静态IP》

    我这里的设置情况如下:

    2.png

  4. SSH免密码登录配置            //3台虚拟机均需配置

    Hadoop的master与slave之间的数据传输会使用SSH,因此我们还需要对Hadoop环境所用的系统主机设置SSH免密码登录,具体设置方法,请参考另一篇博文《Centos设置SSH免密码远程登录》



三)Hadoop安装配置

注:

a. hadoop要求,所有用到的主机系统需要建立相同的用户,在本例中我直接使用root账号,因此所有操作均是以root账号;

b. 对应下面配置文件修改,未特别说明,只需修改master上面的文件。

  1. Hadoop下载

    直接去apache官网下载http://mirrors.hust.edu.cn/apache/  ,如本次实验中下载的是: hadoop-3.1.1.tar.gz

  2. 直接解压下载软件包: tar -zxvf hadoop-3.1.1.tar.gz -C  DestinationFolder,比如我解压到了/usr/local/目录下面(这里的3台系统均需下载并解压)

    3.png

  3. 配置文件修改

    3.1 修改core-site.xml文件,文件位置/xxx/etc/hadoop/目录下,3个系统都必须修改该文件

    3.png

    3.2 修改hadoop-env.sh文件,文件位置/xxx/etc/hadoop/目录下,3个系统都必须修改该文件

    4.png

    或者如下修改(注意JAVA_HOME与HADOOP_HOME根据你自己环境配置设定),多添加红框内的内容,这样设置后可以省略后面的3.7,3.8,3.9三个步骤:

    1.png

    3.3 修改hdfs-site.xml文件,文件位置/xxx/etc/hadoop/目录下,只需修改master节点

    5.png

    或者,按如下设置(注意根据master实际配置,修改name、data目录路径及namenode的地址):


    2.png

    3.4 修改mapred-site.xml文件,文件位置/xxx/etc/hadoop/目录下,只需修改master节点

    6.png

    注意:该文件可以只用设置此一个属性,其他会默认初始化。

    3.5 修改workers文件,文件位置/xxx/etc/hadoop/目录下,只需修改master节点

    7.png

    注意:这里可以只设置slave1和slave2,这样master系统就不会作为DataNode节点。

    3.6 修改yarn-site.xml文件,文件位置/xxx/etc/hadoop/目录下,只需修改master节点

    8.png

    注意:这里也可以只用设置yarn.resourcemanager.hostname和yarn.nodemanager.aux-services属性。

    3.7 修改start-dfs.sh及stop-dfs.sh文件,文件位置/xxx/sbin/目录下,在这两个文件头部加入如下变量:

    HDFS_DATANODE_USER=root

      HADOOP_SECURE_DN_USER=hdfs

      HDFS_NAMENODE_USER=root

      HDFS_SECONDARYNAMENODE_USER=root

     3.8 修改start-yarn.sh和stop-yarn.sh文件,文件位置/xxx/sbin/目录下,在这两个文件头部加入如下变量:

     YARN_RESOURCEMANAGER_USER=root

     HADOOP_SECURE_DN_USER=yarn

     YARN_NODEMANAGER_USER=root

     3.9 修改start-all.sh和stop-all.sh文件文件位置/xxx/sbin/目录下,在这两个文件头部加入如下变量:

     TANODE_USER=root

     HDFS_DATANODE_SECURE_USER=hdfs

     HDFS_NAMENODE_USER=root

     HDFS_SECONDARYNAMENODE_USER=root

     YARN_RESOURCEMANAGER_USER=root

     HADOOP_SECURE_DN_USER=yarn

     YARN_NODEMANAGER_USER=root

  4. 初始化Hadoop系统,切换至/xxx/bin目录下

     运行命令:./hdfs namenode  -format

     不报错返回 “Exiting with status 0” 为成功,“Exiting with status 1”为失败

  5. 启动Hadoop并验证,切换至/xxx/sbin目录下

     运行命令启动: ./start-all.sh

     运行命令验证: jps, 如果看到以下服务则表示已经成功启动服务:

     9.png

     或者也可打开浏览器,输入http://master:50070验证,可看到如下网页:

     10.png

     至此,Hadoop安装验证完毕!

     

注意:

安装配置Hadoop3.1.1还可以结合参考:https://blog.csdn.net/qq_41684957/article/details/81946128