Centos7安装hadoop2.7.2完全分布式集群
为了模拟生产环境，我们需要搭建一个完全分布式集群，以供后续的学习和实验所用。下面是安装hadoo完全分布式集群的详细操作步骤。
一、虚拟机环境配置
系统 | 主机 | 地址 | hadoop版本 | jdk版本 |
centos7 | hadoop01 | 192.168.241.201 | 2.7.2 | 1.8 |
centos7 | hadoop02 | 192.168.241.202 | 2.7.2 | 1.8 |
centos7 | hadoop03 | 192.168.241.203 | 2.7.2 | 1.8 |
（1）单机配置
① 修改主机名
vi /etc/hostname
② 添加主机映射
vi /etc/hosts
③ 修改IP
vi /etc/sysconfig/network-scripts/ifcfg-ens33
④ 关闭防火墙
#关闭防火墙
systemctl stop firewalld
#禁止防火墙开机启动
systemctl disable firewalld⑤ 创建hadoop用户
sudo useradd hadoop #创建hadoop用户
sudo passwd hadoop #设置hadoop用户密码
⑥ 设置hadoop用户拥有root权限
vi /etc/sudoers
#找到文件中Allow root to run any commands anywhere 这一行
#添加 hadoop ALL=(ALL:ALL) NOPASSWD:ALL
#若root用户也无法修改该文件，则使用 visudo -f /etc/sudoers
⑦ 创建安装目录和安装包目录并修改所有者
mkdir /opt/module /opt/software
#创建/opt/module 和 /opt/software 目录
chown hadoop:hadoop /opt/module /opt/software
# 将目录所有者修改为hadoop⑧ 安装必要环境
yum install -y epel-release
yum install -y psmisc nc net-tools rsync vim lrzsz ntp libzstd openssl-static（2） 节点配置
克隆当前虚拟机两台，分别命名为hadoop02和hadoop03
参照① ② ③ 三步，对hadoop02和hadoop03进行修改
重启三台虚拟机
a）配置ssh免密登录
ssh-keygen -t rsa #连续回车
cd /home/hadoop/.ssh
ssh-copy-id hadoop01 ##将公钥拷贝到需要免密登录的节点上
ssh-copy-id hadoop02
ssh-copy-id hadoop03
在执行过程中，需要输入一次节点密码
#执行ssh hadoop01、ssh hadoop02 、ssh hadoop03 验证免密登录是否生效
ssh hadoop01
ssh hadoop02
ssh hadoop03
如果所示，即为免密登录hadoop02成功
b）集群时间同步设置
#所有节点执行以下命令
#关闭ntp服务
systemctl stop ntpd
systemctl disable ntpd① 修改hadoop01节点的ntp.conf 文件
vi /etc/ntp.conf修改为下图标出内容
② 修改hadoop01节点的/etc/sysconfig/ntpd文件
vi /etc/sysconfig/ntpd
#添加图中标出内容
③ 重启ntp服务
systemctl start ntpd
systemctl enable ntpd④ hadoop02/03节点的配置
在hadoop02 和hadoop03 上配置定时任务，定时为10分钟一次
crontab -e
#输入以下内容
*/10 * * * * /usr/sbin/ntpdate hadoop01c）创建文件同步脚本
在/home/hadoop目录下创建
vi /home/hadoop/xsync#!/bin/bash
#1. 判断参数个数
if [ $# -lt 1 ]
then
echo Not Enough Arguement!
exit;
fi
#2. 遍历集群所有机器
for host in hadoop01 hadoop02 hadoop03
do
echo ==================== $host ====================
#3. 遍历所有目录，挨个发送
for file in $@
do
#4 判断文件是否存在
if [ -e $file ]
then
#5. 获取父目录
pdir=$(cd -P $(dirname $file); pwd)
#6. 获取当前文件的名称
fname=$(basename $file)
ssh $host "mkdir -p $pdir"
rsync -av $pdir/$fname $host:$pdir
else
echo $file does not exists!
fi
done
done二、hadoop集群部署
(1) 集群规划
注意1：NameNode和SecondaryNameNode不要部署在同一台服务器
注意2：ResourceManager也很消耗内存，不要和NameNode、SecondaryNameNode部署在同一台服务器上
具体配置如下：
hadoop01 | hadoop02 | hadoop03 | |
HDFS | NameNode、DataNode | DataNode | SecondaryNameNode、DataNode |
YARN | NodeManager | ResourceManager、NodeManager | NodeManager |
(2) 开始安装
① 安装jdk
a.首先查看是否有原生jdk
rpm -qa |grep java若有显示则用下面的语句进行删除
rpm -e --nodeps 文件名 #确保删除干净b.将jdk安装包放到/opt/software/ 目录下
c.解压到/opt/module目录下
tar -zxvf jdk-8u212-linux-x64.tar.gz -C /opt/module/d.为了方便书写，将目录修改为jdk
mv /opt/module/jdk1.8.0_73 /opt/module/jdk
e.配置环境变量
vi /etc/profile.d/my_env.sh
重启xshell窗口，验证环境变量是否生效
② hadoop安装
a.将hadoop压缩包放入目录/opt/software/
b.解压至/opt/module目录
tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module并将目录改名为hadoop
c.配置环境变量
vi /etc/profile.d/my_env.sh
重启shell窗口，验证环境变量是否生效
③ hadoop配置文件修改
a. 修改core-sit.xml
vi /opt/module/hadoop/etc/hadoop/core-sit.xml
b.修改hdfs-site.xml
vi /opt/module/hadoop-3.1.3/etc/hadoop/hdfs-site.xml
c.修改yarn-site.xml
vi /opt/module/hadoop/etc/hadoop/yarn-site.xml
d.修改mapred-site.xml
cp /opt/module/hadoop/etc/hadoop/mapred-site.xml.template /opt/module/hadoop/etc/hadoop/mapred-site.xml
vi /opt/module/hadoop/etc/hadoop/mapred-site.xml
e.修改hadoop-env.sh
vi /opt/module/hadoop/etc/hadoop/hadoop-env.sh
f.修改slaves文件
vi /opt/module/hadoop/etc/hadoop/slaves
g.分发jdk和hadoop到各节点
xsync /opt/module/
xsync /etc/profile.d/my_env.sh③ 集群启动
a.单点启动
#格式化NameNode
#hadoop01上用hadoop用户执行
hdfs namenode -format
#如下图箭头所指的，即为初始化成功
b.集群启动
#hadoop01上用hadoop用户执行
start-dfs.sh
#完成后可执行jps 查看namenode进程是或否启动
#hadoop02执行，启动yarn
start-yarn.sh
#完成后执行jps查看进程
创建查看各个节点进程的脚本
vi /home/hadoop/jpsall.sh#!/bin/bash
for i in hadoop01 hadoop02 hadoop03
do
echo "======== $i ========"
ssh $i "jps " | grep -v jps
done执行结果
③ 验证hadoop安装是否成功
1.登录hdfs管理界面(端口为50070)
2.登录yarn管理界面
