Hadoop3.2.1 分布式集群安装

1.准备环境：

3 台 linux 虚拟机(CentOs7.x 64 位)

  • ip 为：
    192.168.2.100
    192.168.2.101
    192.168.2.102
  • 对应的 hostname 为：
    hadoop100
    hadoop101
    hadoop102
2.虚拟机基本环境配置：

这三台机器的基本配置参考 Hadoop 单机伪分布安装章节中的虚拟机基本环境配置部分。
注意：除了基本配置之外还需要实现主节点能够免密码登陆到所有从节点，因为从节点上面的进程是由主节点通过 ssh 远程启动的。
在 hadoop100 这台机器上执行下面命令，可以实现主节点免密码登陆到所有从节点。

[root@hadoop100 ~]# ssh-copy-id -i hadoop101
[root@hadoop100 ~]# ssh-copy-id -i hadoop102

在 hadoop100 机器上使用 ssh 命令确认集群免密码登陆是否设置成功，如果可以免密码登陆进去就说明是没有问题的。

[root@hadoop100 ~]# ssh hadoop101
[root@hadoop100 ~]# ssh hadoop101
3.Hadoop 分布式集群安装：

注意：在这里我们用到了前面安装伪分布集群的机器 hadoop100，所以需要先把之前的伪分布集群停掉，然后删除/data 目录下的 hadoop_repo和/data/soft 目录下的 hadoop-3.2.1目录，恢复此机器的环境。
下面开始安装 hadoop 分布式集群。
首先在 hadoop100 节点上安装。

  • 把 hadoop-3.2.1.tar.gz 安装包上传到 linux 机器的/data/soft 目录下
  • 解压 hadoop 安装包
    [root@hadoop100 ~]# cd /data/soft
    [root@hadoop100 soft]# tar -zxvf hadoop-3.2.1.tar.gz
  • 修改 hadoop 相关配置文件
    #进入配置文件所在目录
[root@hadoop100 soft]# cd hadoop-3.2.1/etc/hadoop/
  • #首先修改 hadoop-env.sh 文件，增加环境变量信息
[root@hadoop100 hadoop]# vi hadoop-env.sh
export JAVA_HOME=/data/soft/jdk1.8
export HADOOP_LOG_DIR=/data/hadoop_repo/logs/hadoop
  • 修改 core-site.xml 文件，注意 fs.defaultFS 属性中的主机名需要和你配置的主机名保持一致
[root@hadoop100 hadoop]# vi core-site.xml
<configuration>
 <property>
  <name>fs.defaultFS</name>
  <value>hdfs://hadoop100:9000</value>
 </property>
 <property>
  <name>hadoop.tmp.dir</name>
  <value>/data/hadoop_repo</value>
 </property>
 </configuration>
  • 修改 hdfs-site.xml 文件，把 hdfs 中文件副本的数量设置为2，因为现在分布集群有2个节点
[root@hadoop100 hadoop]# vi hdfs-site.xml
<configuration>
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>hadoop100:50090</value>
</property>
</configuration>
  • 修改 mapred-site.xml，设置 mapreduce 使用的资源调度框架
[root@hadoop100 hadoop]# vi mapred-site.xml
<configuration> 
 <property> 
  <name>mapreduce.framework.name</name> 
  <value>yarn</value> 
 </property> 
 <property>
  <name>yarn.app.mapreduce.am.env</name>
  <value>HADOOP_MAPRED_HOME=/data/soft/hadoop-3.2.1</value>
 </property>
 <property>
  <name>mapreduce.map.env</name>
  <value>HADOOP_MAPRED_HOME=/data/soft/hadoop-3.2.1</value>
 </property>
 <property>
  <name>mapreduce.reduce.env</name>
  <value>HADOOP_MAPRED_HOME=/data/soft/hadoop-3.2.1</value>
 </property>
</configuration>
  • 修改 yarn-site.xml，设置 yarn 上支持运行的服务和环境变量白名单
[root@hadoop100 hadoop]# vi yarn-site.xml
<configuration>
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.nodemanager.env-whitelist</name>
<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CONF_DIR,CL
ASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAPRED_HOME</value>
</property>
<property>
<name>yarn.resourcemanager.hostname</name>
<value>hadoop100</value>
</property>
</configuration>
  • 修改 workers 文件，增加所有从节点的主机名，一个一行
[root@hadoop100 hadoop]# vi workers
hadoop101
hadoop102
#修改启动脚本
#修改 start-dfs.sh，stop-dfs.sh 这两个脚本文件，在文件前面增加如下内容
[root@hadoop100 hadoop]# cd /data/soft/hadoop-3.2.1/sbin
[root@hadoop100 sbin]# vi start-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

[root@hadoop100 sbin]# vi stop-dfs.sh
HDFS_DATANODE_USER=root
HDFS_DATANODE_SECURE_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root
  • 修改 start-yarn.sh，stop-yarn.sh 这两个脚本文件，在文件前面增加如下内容
[root@hadoop100 sbin]# vi start-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root

[root@hadoop100 sbin]# vi stop-yarn.sh
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
4.把 hadoop100 节点上修改好配置的安装包拷贝到其他两个从节点
[root@hadoop100 hadoop]# cd /data/soft/
[root@hadoop100 soft]# scp -rq hadoop-3.2.1.tar.gz hadoop101:/data/soft/
[root@hadoop100 soft]# scp -rq hadoop-3.2.1.tar.gz hadoop102:/data/soft/
5.格式化 namenode
[root@hadoop100 hadoop]# cd /data/soft/hadoop-3.2.1
[root@hadoop100 hadoop-3.2.1]# bin/hdfs namenode -format

如果在后面的日志信息中能看到这一行，则说明 namenode 格式化成功。
common.Storage: Storage directory /data/hadoop_repo/dfs/name has been successfully formatted.

6.启动集群，在 hadoop100 节点上执行下面命令
[root@hadoop100 hadoop-3.2.1]# sbin/start-all.sh
Starting namenodes on [hadoop100]
Starting datanodes
Starting secondary namenodes [hadoop100]
Starting resourcemanager
Starting nodemanagers
7.验证集群

分别在 3 台机器上执行 jps 命令，进程信息如下所示：

  • 在 hadoop100 节点执行
    [root@hadoop100 hadoop-3.2.1]# jps
    8802 ResourceManager
    8572 SecondaryNameNode
    8334 NameNode
  • 在 hadoop101 节点执行
    [root@hadoop101 hadoop-3.2.1]# jps
    2229 NodeManager
    2124 DataNode
  • 在 hadoop102 节点执行
    [root@hadoop102 hadoop-3.2.1]# jps
    1857 DataNode
    1963 NodeManager

至此，hadoop 分布式集群安装成功！