一、虚拟机的安装（Centos 7)

1.点击 Centos 7镜像 进行下载

2.安装成功后，利用克隆再克隆两个作为slave1和slave2进行搭建

hadoop 搭建集群环境搭建 hadoop集群搭建过程_hadoop


3. 利用 ifconfig命令，获取三个虚拟机的IP地址：

hadoop 搭建集群环境搭建 hadoop集群搭建过程_hadoop 搭建集群环境搭建_02

二、搭建集群

  1. 配置主节点名（master)
    在命令行中输入： vi /etc/sysconfig/network 添加一下内容：
NETWORKING=yes
HOSTNAME=master
  1. 配置另两台节点，步骤同上。
  2. 配置 hosts 文件
    打开主节点的hosts文件，将文件的前两行注释掉 (注释当前主机的信息)并在文件中添加所有hadoop集群的主机息。
    在命令行输入： vi /etc/hosts 添加3台服务器的节点名信息
10.101.160.40  master
10.101.160.50  slave1
10.101.160.55  slave2

保存之后，将主节点的hosts分别拷贝到其他两个子节点
命令行分别输入：

scp /etc/hosts root@10.101.160.50  :/etc/
scp /etc/hosts root@10.101.160.55  :/etc/

然后分别执行(重启服务器也可以不执行下面的语句): /bin/hostname hostsname 例如：master上执行 /bin/hostsname master，使之生效。
4 .查看防火墙状态

firewall-cmd --state

5 .停止firewall

systemctl stop firewalld.service
  1. 禁止firewall开机启动
systemctl disable firewalld.service
  2. 时间同步
    命令行输入：yum install ntp 下载ntp插件 ，
    下载完成后 命令行输入：ntpdate -u ntp1.aliyun.com 然后命令行输入：date 如果出现如下情况表示配置成功：

    3. hadoop 搭建集群环境搭建 hadoop集群搭建过程_hadoop_03


三、配置ssh无密码访问

生成公钥密钥对
在每个节点上分别执行：
命令行输入：ssh-keygen -t rsa 一直按回车直到生成结束
执行结束之后每个节点上的/root/.ssh/目录下生成了两个文件 id_rsa 和 id_rsa.pub 其中前者为私钥，后者为公钥
在主节点上执行：
命令行输入：cp id_rsa.pub authorized_keys

将子节点的公钥拷贝到主节点并添加进authorized_keys 将两个子节点的公钥拷贝到主节点上
分别在两个子节点上执行：

scp /root/.ssh/id_rsa.pub root@master:/root/.ssh/id_rsa_slave1.pub
scp /root/.ssh/id_rsa.pub root@master:/root/.ssh/id_rsa_slave2.pub

然后在主节点上，将拷贝过来的两个公钥合并到authorized_keys文件中去
主节点上执行：

cat id_rsa_slave1.pub>> authorized_keys
cat id_rsa_slave2.pub>> authorized_keys

将主节点的authorized_keys文件分别替换子节点的authorized_keys文件
主节点上用scp命令将authorized_keys文件拷贝到子节点的相应位置

scp authorized_keys root@slave1:/root/.ssh/
scp authorized_keys root@slave2:/root/.ssh/

测试配置是否成功：

在Mage1上分别执行

ssh slave1

ssh slave2

能正确跳转到两台子节点的操作界面即可，同样在每个子节点通过相同的方式登录主节点和其他子节点也能无密码正常登录就表示配置成功。

hadoop 搭建集群环境搭建 hadoop集群搭建过程_命令行_04

四、安装jdk

1.下载
windos系统文件上传到linux系统使用
rz -be 命令，若没有使用 yum install lrzsz 进行下载
2. 配置环境
配置环境变量, 编辑profile文件：

vi /etc/profile

在profile文件末尾添加以下代码:

export JAVA_HOME=/usr/local/jdk1.8.0_191
export JRE_HOME=$JAVA_HOME/jre
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=$JAVA_HOME/lib:$JRE_HOME/lib

保存后，使刚才编辑的文件生效：

source /etc/profile

测试是否安装成功：java -version

五、安装hadoop

放在/usr/local目录下，解压hadoop

tar -zxvf hadoop-2.7.7.tar.gz

在usr下面生成hadoop-2.7.7目录
配置环境变量：

vi /etc/profile

在末尾添加：

export HADOOP_HOME=/usr/local/hadoop-2.7.7
export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin

保存后使新编辑的profile生效：

source /etc/profile

配置hadoop