Hadoop Multi Node Cluster的安装
Hadoop Multi Node Cluster 规划如下图
- 一台主要的计算机master，在HDFS担任NameNode角色，在MapReduce2（YARN）担任ResourceManager角色。
- 多台辅助计算机data1、data2、data3，在HDFS担任DataNode角色、在MapReduce2（YARN）担任NodeManager角色。
Hadoop Multi Node Cluster规划
把Single Node Cluster复制到data1
命名为data1
选择完全复制
复制完成以后
设置VirtualBox网卡
最右边是Host主机，就是我们安装VirtualBox的主机，在VirtualBox上我们将创建4台虚拟主机，分别是master，data1，data2，data3
我们将在每一台虚拟主机设置了2张网卡
- 网卡1：设置为NAT网卡，可以通过Host主机连接到外部网络（internet）
- 网卡2：设置为仅主机适配器用于创建额内部网络，内部网路连接虚拟主机（master、data1、data2、data3）与Host主机。
设置网卡1
设置网卡2
设置data1服务器
启动data1虚拟机
编辑网络配置文件设置固定IP
sudo gedit /etc/network/interfaces
NAT网卡可以通过Host主机连接到外部网络（internet），设置为eth0，并且设置dhcp自动获取IP地址。
仅主机适配器用于建立内部网络，内部网络连接虚拟主机和Host主机，设置为eth1，并设置为static，即指定固定IP地址。
设置hostname
sudo gedit /etc/hosts
建立的Hadoop集群中有4台计算机，host文件通常用于补充或取代网络中DNS的功能，和DNS不同，计算机的用户可以直接对host文件进行控制。host文件可存储计算机网络中各节点的信息，负责将主机名映射到对应的IP地址（名字解析）
编辑host文件
sudo gedit /etc/hosts
编辑core-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/core-site.xml
必须设置HDFS的默认名称，当使用命令或程序来读取hdfs时，可使用此名称。现在有多台计算机，所以必须指定主机名。
编辑YARN-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/yarn-site.xml
上述的命令设置与说明如下：
- ResourceManager主机与NodeManager的连接地址为8025
- ResourceManager与ApplicationMaster的连接地址为8030
- ResourceManager与客户端的连接地址为8050
编辑mapred-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/mapred-site.xml
mapred-site.xml用于设置监控Map与Reduce程程序的JobTracker任务分配情况，以及TaskTracker任务运行状况。
编辑hdfs-site.xml
sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml
用户设置HDFS分布式文件系统的相关配置。因为data1现在这是单纯的DataNode，所以需要删除NameNode的设置。
重启data1
确认网络设置
确认对外网络连接正常
复制data1服务器到data2、data3、master
复制data2
重复步骤复制data3和master
选择虚拟机内存设置
由于我的主机的内存是8G的，所以设置步骤为master：2GB，data1：1GB，data2：1GB，data3：1GB。
设置完毕后
设置data2和data3服务器
主要的设置内容是IP和hostname
设置interfaces网络配置文件
sduo gedit /etc/network/interfaces
编辑hostname文件
sudo gedit /etc/hostname
重启data2查看网络设置是否正确
表示hostname已经设置为data2，IP已经设置为192.168.56.102
同理设置data3
检查设置
设置master服务器
在master中需要设置固定IP地址，hostname、hfds-site.xml、masters、slaves。
编辑master的interfaces网络配置文件
sudo gedit /etc/network/interfaces
设置master主机名
sduo gedit /etc/hostname
设置hdfs-site.xml
hdfs-site.xml 用于设置HDFS分布式文件系统相关配置的设置。因为现在master只是单纯的NameNode，所以需要删除DataNode的相关设置。
sudo gedit /usr/local/hadoop/etc/hadoop/hdfs-site.xml
编辑master文件
告诉Hadoop系统那一台服务器是NameNode
sudo gedit /usr/local/hadoop/etc/hadoop/masters
编辑slaves文件
sudo gedit /usr/local/hadoop/etc/hadoop/slaves
然后重启虚拟机
查看网络设置
ifconfig
master连接到data1、data2、data3 创建HDFS目录
启动master、data1、data2、data3
切换到master虚拟机之后启动终端
连接到data1虚拟机
ssh data1
连接到data1 创建HDFS相关目录
删除HDFS所有目录
sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs
创建DataNode存储目录
mkdir -p /usr/local/hadoop/hadoop_data/hdfs/datanode
将目录的所有者更改为hduser
sudo chown -R hduser:hduser /usr/local/hadoop/
中断data1连接，回到master
输入exit就可以回到master
对data2、data3做相同的操作
创建并格式化NameNode HDFS目录
这个更改主要是在master中
重新创建NameNode HDFS目录
删除之前的HDFS目录
sudo rm -rf /usr/local/hadoop/hadoop_data/hdfs/
创建NameNode目录
mkdir -p /usr/local/hadoop/hadoop_data/hdfs/namenode
将目录的所有者更改为hduser
sudo chown -R hduser:hduser /usr/local/hadoop/
格式化NameNode HDFS目录
hadoop namenode -format
启动Hadoop Multi Node Cluster
启动类似single模式一样，可以分别启动，也可以一起启动
start-all.sh
查看master的进程是否启动
- HDFS功能：NameNode、SecondaryNameNode已经启动
- MapReduce2（YARN）：ResourceManager 已经启动
查看data1的运行的进程
- HDFS功能：DataNode 已经启动
- MapReduce2（YARN）：NodeManager 已经启动
打开Hadoop ResourceManager Web界面
打开ResouceManager Web界面
在浏览器中输入http://master:8088
查看已经运行的节点Nodes
打开NameNode Web界面
用于检查当前的HDFS与DataNode运行情况
打开NameNode HDFS Web用户界面
http://master:50070
查看DataNode
停止Hadoop Multi Node Cluster
stop-all.sh
