本篇介绍如何使用虚拟机搭建Hadoop集群，此例搭建1个master和2个slave，如要更多的slave，方法如此类推。
现在已经有安装了一台虚拟机，
1、查看虚拟机的虚拟网络，设置为NAT模式：
编辑——>虚拟网络编辑器
进入到虚拟网络编辑器界面后，单击VMnet8，
这里可以查看网关IP，默认是192.168.112.2，这个很重要，因为等下配置ifcfg-ens33文件时会用到。
2、自动获取IP功能初始化
VMWare需要用到自动获取IP的服务，所以需要对其进行初始化。而初始化是使用桥接模式：
在VMWare右下角位置，右击图标——>设置:
确定之后，待机器执行完成，重复同样的操作，不过要选择NAT模式，这样子，自动获取IP服务的功能已经初始化。
3、配置ifcfg-ens33文件
虚拟机上网的相关配置都在这个文件里面配置：
输入指令:
vim /etc/sysconfig/network-scripts/ifcfg-ens33
修改ifcfg-ens33文件需要root权限，可以在Linux输入命令su，然后输入密码，再次进入ifcfg-ens33文件，上网的IP地址随便设置，一般我们都会将网关IP的最后一位修改一下；网关IP就是第一步查看的那个网关IP；DNS1则是提供上网的服务地址，这个地址需要查看本机到底是连了那个网络服务地址，步骤：本机打开cmd窗口，输入ipconfig命令，下图框框所示就是提供网络服务的地址，
HWADDR则是网卡地址（不一定需要填写编辑），查看网卡地址则需要退出ifcfg-ens33文件进行查看，退出操作：按esc结束编辑，按shift + ：，输入命令wq（wq表示保存修改并退出，q！表示不保存修改，直接退出），按enter，在Linux终端输入命令ifconfig：
配置好之后，可以进行网络测试
4、网络测试
重启网络，输入命令：
/etc/init.d/network restart
上图所示，表示重启网络成功，但还是要测试一下是否可以上网：
输入命令：
curl www.baidu.com
可以正常上网。那么这里，就将192.168.112.10作为本次集群的master节点。
5、创建slave节点
创建slave节点比较简单，首先关闭master节点（这个很重要），找到该节点的镜像所在的文件夹位置，对其整个镜像进行复制，粘贴。
复制、粘贴，修改文件夹名字：
新建两个虚拟机，分别为slave1和slave2，首先分别输入ifconfig查看是否显示正常，
有时候并没有像上图那样显示，有可能少了ens33或者某些信息，输入命令“/etc/init.d/network restart”时，出现“Failed to start LSB:Bring up/down networking”的报错，这时要确定是否关闭NetWorkManager服务，因为刚创建的slave和master容易出现NetWorkManager服务冲突，这时master和slave都要关闭NetWorkManager服务，并禁止开机启动该服务，输入命令：
service NetworkManager stop
chkconfig NetworkManager off执行命令后，重启虚拟机，之后就可以正常使用。
6、关闭防火墙
无论系统防火墙（指Linux），还是内核防火墙都要关闭。而且Master和slave都要操作。
（1）关闭系统防火墙
#查看防火墙状态，输入命令：
firewall-cmd --state如果出现“not running”字样，说明防火墙已经关闭，如果不是这样的字样，则以下操作：
#停止防火墙，临时关闭，输入命令：
systemctl stop firewalld.service#禁止防火墙开机启动，永久关闭，输入命令：
systemctl disable firewall.service（2）关闭内核防火墙
#清空系统防火墙，输入命令：
iptable -F如果没有iptable命令，可以执行下面命令下载，如果有，就忽略：
yum -y install iptable -services#保存防火墙配置
service iptables save#临时关闭内核防火墙，输入命令：
setenforce 0#永久关闭内核防火墙：
vim /etc/selinux/config添加语句：SELINUX=disabled
7、配置slave1和slave2的ifcfg-ens33文件
参考步骤3，slave1和slave2都需要配置，需要修改的地方有IPADDR，HWADDR（按实际情况修改），根据实际情况而修改，配置好，同样的重启一下网络。
将slave1的IPADDR修改为：192.168.112.11
将slave2的IPADDR修改为：192.168.112.12
8、安装JDK
默认情况下，CentOS7会自动安装了openjdk1.7和jdk1.8，但它们并不是我们想要的，所以要卸载它们。
#查看安装的JDK版本，输入命令：
rpm -q|grep jdk
#卸载原装的Open JDK，输入命令：
yum -y remove java-1.8.0-openjdk-headless-1.8.0.65-3.b17.el7.x86_64
yum -y remove java-1.8.0-openjdk-headless-1.7.0.65-3.b17.el7.x86_64#安装JDK
去到Oracle官网下载Linux版本的JDK，
将压缩包导入到虚拟机里面，导入外部文件有好多种方法，这里介绍两种：（1）没有可视化界面的虚拟机，可以通过命令：rz，然后选择相应的压缩包文件，如下图：
（2）有可视化界面的虚拟机，直接将压缩包文件复制粘贴到虚拟机的桌面：如下图
这里使用了第二种方法。
导入压缩文件后，进入到桌面路径下，将导入的压缩包通过命令的方式，复制到指定的路径下（目的是方便管理），
进入虚拟机桌面路径，输入命令：
cd ~
cd ./Desktop
#复制压缩包到指定路径
复制压缩包到/usr/local/src文件夹下，在当前Desktop目录下输入命令：
cp jdk-8u201-linux-x64.tar.gz /usr/local/src/#解压压缩包
进入/usr/local/src目录下，输入命令：cd /usr/local/src，解压jdk压缩包，输入命令：
tar -zxvf jdk-8u201-linux-x64.tar.gz#配置环境变量
解压成功后，输入命令：
vim ~/.bashrc新增以下参数，并用“wq”进行保存退出：
export JAVA_HOME= /usr/local/src/jdk1.8.0_201 export JRE_HOME=$JAVA_HOME/jre
export CALSSPATH=.$CLASSPATH:$JAVA_HOME/lib
export PATH=$PATH:$JAVA_HOME/bin#生效配置文件
配置完，使文件生效，输入命令：
source ~/.bashrc#验证
都配置好了就验证一下，看一下jdk版本，输入命令：
java -version
可以用同样的操作方法，将slave1和slave2的JDK也安装好。
9、配置SSH
#修改映射关系，输入命令：
vim /etc/hosts/新增以下内容（slave1和slave2也要加）：
192.168.112.10 master
192.168.112.11 slave1
192.168.112.12 slave2#修改主机名字，输入命令：
vim /etc/sysconfig/network新增以下内容：
NETWORKING=yes
HOSTNAME=master#设置临时主机名称，输入命令：
hostname master输入验证命令：
hostname在slave1和slave2也要设置，各自将“master”改为各自机器名
#永久设置hostname名称为xxx（每个机器都要设置）：
在master节点
vim /etc/hostname添加内容
master
在slave1和slave2也要设置，各自将“master”改为各自机器名
#生成ssh密钥
输入命令(每个节点都要生成一次)：
ssh-keygen -t rsa在slave1和slave2分别查看id_rsa.pub文件，并将文件内容复制到mastaer中的authorized_keys里，输入命令：
cd ~
cd .ssh
vim ./authorized_keys复制完就是下面截图这样：
然后通过远程的方式，将authorized_keys文件覆盖到slave1和slave2中（或者用同样的方式在slave1和slave2中操作），输入命令：
scp authorized_keys root@slave1:~/.ssh/
scp authorized_keys root@slave2:~/.ssh/#验证
最后在每台机器上分别验证，各自输入命令：
ssh slave1
ssh slave2
ssh master拿master做例子：
首先，输入：ssh slave1，
此时机器已经转到slave1节点上，使用hostname命令验证，证明master可以访问slave1，然后再输入命令：ssh master，使得机器再次回到master节点，
执行成功，说明slave1节点可以访问master；用同样的方法测试master->slave2：
退出命令：exit
10、配置Hadoop2.6.1
#解压
同步骤8一样，复制hadoop压缩包到/usr/local/src/目录中，并解压。
#配置相关文件（这里给出master节点的，slave1和slave2的通过将master的相关文件远程复制过去）
进入hadoop路径，所有操作都在该文件夹路径下操作：
cd /usr/local/src/hadoop-2.6.1/etc/hadoop（1）为hadoop配置jdk环境
vim hadoop-env.sh添加内容：export JAVA_HOME=/usr/local/src/jdk1.8.0_201
（2）为分布式资源管理系统配置jdk环境
vim yarn-env.sh添加内容：export JAVA_HOME=/usr/local/src/jdk1.8.0_201
（3）配置hadoop其他节点名称
vim slaves添加内容：
slave1
slave2
（4）配置Hadoop Core
vim core-site.xml添加内容：
<configuration>
<!--指定namenode的地址-->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!--用来指定使用hadoop时产生文件的存放目录-->
<property>
<name>hadoop.tmp.dir</name>
<value>file:/usr/local/src/hadoop-2.6.1/tmp</value>
</property>
</configuration>（5）配置Hadoop hdfs
vim hdfs-site.xml添加内容：
<configuration>
<!--配置namenode.secondary地址-->
<property>
<name>dfs.namenode.secondary.http-address</name>
<value>master:9001</value>
</property>
<!--指定hdfs中namenode的存储位置-->
<property>
<name>dfs.namenode.name.dir</name>
<value>file:/usr/local/src/hadoop-2.6.1/dfs/name</value>
</property>
<!--指定hdfs中datanode的存储位置-->
<property>
<name>dfs.datanode.data.dir</name>
<value>file:/usr/local/src/hadoop-2.6.1/dfs/data</value>
</property>
<!--指定hdfs保存数据的副本数量-->
<property>
<name>dfs.replication</name>
<value>3</value>
</property>
</configuration>（6）配置Hadoop mapper
注意：hadoop2.x没有mapred-site.xml，所以先拷贝并创建这个文件，输入命令：
cp mapred-site.xml.template mapred-site.xml进入mapreduce配置文件：
vim mapred-site.xml编辑文件：
<configuration>
<!--告诉hadoop以后MR(Map/Reduce)运行在YARN上-->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>（7）配置Hadoop yarn
vim yarn-site.xml添加内容：
<configuration>
<!--nomenodeManager获取数据的方式是shuffle-->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<!--配置shuffle，因为map和reduce之间有个shuffle过程，-->
<property>
<name>yarn.nodemanager.aux-services.mapreduce.shuffle.class</name>
<value>org.apache.hadoop.mapred.ShuffleHandler</value>
</property>
<!--为每个rm-id设置主机：端口用来提交作业。-->
<property>
<name>yarn.resourcemanager.address</name>
<value>master:8032</value>
</property>
<!--调度器接口的地址。-->
<property>
<name>yarn.resourcemanager.scheduler.address</name>
<value>master:8030</value>
</property>
<!--对每个rm-id设置NodeManager连接的host-->
<property>
<name>yarn.resourcemanager.resource-tracker.address</name>
<value>master:8035</value>
</property>
<!--对每个rm-id指定管理命令的host-->
<property>
<name>yarn.resourcemanager.admin.address</name>
<value>master:8033</value>
</property>
<!--对每个rm-id，指定RM webapp对应的host-->
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
<!-- 关闭虚拟内存检查-->
<property>
<name>yarn.nodemanager.vmem-check-enabled</name>
<value>false</value>
</property>
</configuration>#创建临时目录和文件目录
mkdir /usr/local/src/hadoop-2.6.1/tmp
mkdir -p /usr/local/src/hadoop-2.6.1/dfs/name
mkdir -p /usr/local/src/hadoop-2.6.1/dfs/data#配置Hadoop的环境变量（master、slave1和slave2都要配置）
vim ~/.bashrc添加内容：
HADOOP_HOME=/usr/local/src/hadoop-2.6.1
export PATH=$PATH:$HADOOP_HOME/bin#重新启动资源文件
source ~/.bashrc这个时候可以将上面再master节点下的hadoop文件下的配置文件copy到slave1和slave2里，输入命令：
scp -f /usr/local/src/hadoop-2.6.1/ root@slave1:usr/local/src/
scp -f /usr/local/src/hadoop-2.6.1/ root@slave2:usr/local/src/11、启动集群
#初始化Namenode，只在master节点操作，
hadoop namenode -format注意：该命令重复执行的话，有可能会出现异常。这时需要，删除相关文件（这个后面再讲），重新初始化hadoop
#启动集群
在master节点操作
/usr/local/src/hadoop-2.6.1/sbin/start-all.sh
启动后，分别在master、slave1和slave2节点上输入命令：jps，查看节点：
（1）master节点
（2）slave1节点
（3）slave2节点
上面提及到：重复初始化hadoop会带来了异常，导致某些node无法正常启动，解决方法：
1、关闭集群，./sbin/stop-all.sh
2、删除/usr/local/src/hadoop-2.6.1/dfs/name下面的文件[每个节点都操作]
3、删除/usr/local/src/hadoop-2.6.1/dfs/data下面的文件[每个节点都操作]
4、删除/usr/local/src/hadoop-2.6.1/tmp下面的文件[每个节点都操作]
5、删除/usr/local/src/hadoop-2.6.1/logs下面的文件[每个节点都操作]
6、重新格式化hadoop，输入命令：hadoop namenode -format [只在master节点操作]
7、启动集群，./sbin/start-all.sh#监控网页
在浏览器输入地址：192.168.112.10：8088（这个是master：8088）
#关闭集群
/usr/local/src/hadoop-2.6.1/sbin/stop-all.sh
