Hadoop HA集群模式安装

  • 一、Hadoop HA集群模式安装
  • 1、实验目的
  • 2、实验环境
  • 3、软件版本
  • 4、实验过程
  • 5、实验心得


一、Hadoop HA集群模式安装

1、实验目的

1、完成hadoop高可用完全分布模式的安装
2、Hadoop的相关服务服务进程能够正常启动
3、HDFS能够正常使用
4、Mapreduce示例程序能够正常运行

2、实验环境

1、五台独立虚拟机
2、主机之间有效的网络连接
3、每台主机内存2G以上，磁盘剩余空间500M以上
4、所有主机已安装centOS 7.4操作系统
5、所有主机已完成网络属性配置
6、所有主机已安装jdk
7、已完成zookeeper集群的安装和部署

3、软件版本

选用Hadoop的2.7.3版本，软件包名为hadoop-2.7.3.tar.gz

4、实验过程

一、Hadoop基本安装配置

该项操作均在集群用户admin下进行，只在一台主机上进行操作其他的主机进行同步安装与步骤

1、新建目录，将Hadoop软件包解压至新建目录下，再进行环境变量配置

向hadoop集群上提交一个jar 基于hadoop的集群搭建_hadoop


2、配置Hadoop相关的环境变量

向hadoop集群上提交一个jar 基于hadoop的集群搭建_向hadoop集群上提交一个jar_02


3、使环境变量立即生效

查看是否配置成功

向hadoop集群上提交一个jar 基于hadoop的集群搭建_云存储_03


二、Hadoop高可用完全分布模式配置

所有操作使用专门用于集群用户admin进行

1、新建目录，拷贝生成zookeeper的配置文件

向hadoop集群上提交一个jar 基于hadoop的集群搭建_hadoop_04


2、进入hadoop配置文件所在位置修改配置文件

向hadoop集群上提交一个jar 基于hadoop的集群搭建_hadoop_05


3、修改core-site.xml文件

向hadoop集群上提交一个jar 基于hadoop的集群搭建_Hadoop_06


4、修改hdfs-site.xml文件

向hadoop集群上提交一个jar 基于hadoop的集群搭建_hadoop_07


向hadoop集群上提交一个jar 基于hadoop的集群搭建_配置文件_08


5、对配置文件进行修改

//输入命令 cp mapred-site.xml.template mapred-site.xml

由模板文件拷贝生成配置文件“mapred-site.xml”

向hadoop集群上提交一个jar 基于hadoop的集群搭建_向hadoop集群上提交一个jar_09


6、对yarn-env.sh配置文件进行修改

向hadoop集群上提交一个jar 基于hadoop的集群搭建_Hadoop_10


7、对yarn-site.xml配置文件进行修改

向hadoop集群上提交一个jar 基于hadoop的集群搭建_配置文件_11


8、对shaves文件进行修改

向hadoop集群上提交一个jar 基于hadoop的集群搭建_向hadoop集群上提交一个jar_12


三、同步安装和配置

该项的所有操作步骤使用专门用于集群的用户admin进行。

1、将“hadoop”目录和‘.bash_ profile" 文件发给集群中所有主机，发送目标用户为集群专用用户admin,发送目标路径为“/home/admin”，即集群专用用户admin的家目录。

向hadoop集群上提交一个jar 基于hadoop的集群搭建_云存储_13


向hadoop集群上提交一个jar 基于hadoop的集群搭建_Hadoop_14


向hadoop集群上提交一个jar 基于hadoop的集群搭建_配置文件_15


向hadoop集群上提交一个jar 基于hadoop的集群搭建_配置文件_16


查看是否配置成功

向hadoop集群上提交一个jar 基于hadoop的集群搭建_Hadoop_17


向hadoop集群上提交一个jar 基于hadoop的集群搭建_hadoop_18


向hadoop集群上提交一个jar 基于hadoop的集群搭建_配置文件_19


向hadoop集群上提交一个jar 基于hadoop的集群搭建_Hadoop_20


四、Hadoop高可用完全分布模式格式化和启动

所有操作使用专门用于集群用户admin进行格式化内容不可多次执行

1、在所有同步通信节点的主机执行，启动同步通信服务，然后使用命令“jps"查看Java进程信息，若有名为“JournalNode"的进程，则表示同步通信节点启动成功。本操作只在第-一次安装时执行。安装完成后，以及关机重启服务器后不需要再次执行。

向hadoop集群上提交一个jar 基于hadoop的集群搭建_云存储_21


向hadoop集群上提交一个jar 基于hadoop的集群搭建_云存储_22


向hadoop集群上提交一个jar 基于hadoop的集群搭建_hadoop_23


2、在主节点对HDFS进行格式化，若格式化过程中没有报错则表示格式化成功。

注：本操作只在第一次安装时执行。安装完成后，以及关机重启服务器后不需要再次执行，也不可多次进行格式化。

向hadoop集群上提交一个jar 基于hadoop的集群搭建_Hadoop_24


3、格式化完成后将“hadoop"目录下的“name"目录发给集群中所有备用主节点的主机，发送目标用户为集群专用用户admin,即当前与登录用户同名的用户，发送目标路径为“home/admin/hadoop" ，即集群专用用户admin家目录下的Hadoop相关文件的目录。

向hadoop集群上提交一个jar 基于hadoop的集群搭建_hadoop_25


4、查看集群中所有主机的工作状态。如果集群中只有一个“leader”节点，其余的均为“follower”节点，则表示集群的工作状态正常。

向hadoop集群上提交一个jar 基于hadoop的集群搭建_配置文件_26


向hadoop集群上提交一个jar 基于hadoop的集群搭建_向hadoop集群上提交一个jar_27


向hadoop集群上提交一个jar 基于hadoop的集群搭建_云存储_28


向hadoop集群上提交一个jar 基于hadoop的集群搭建_云存储_29


向hadoop集群上提交一个jar 基于hadoop的集群搭建_云存储_30


5、在主节点使用命令,对Hadoop集群在Zookeeper中的主节点切换控制信息进行格式化，若格式化过程中没有报错则表示格式化成功。格式化之前确保集

群中各主机Zookeeper开启。

向hadoop集群上提交一个jar 基于hadoop的集群搭建_云存储_31


向hadoop集群上提交一个jar 基于hadoop的集群搭建_Hadoop_32


6、在所有同步通信节点的主机，使用此命令，关闭同步通信服务。

向hadoop集群上提交一个jar 基于hadoop的集群搭建_hadoop_33


向hadoop集群上提交一个jar 基于hadoop的集群搭建_向hadoop集群上提交一个jar_34


向hadoop集群上提交一个jar 基于hadoop的集群搭建_云存储_35


7、在主节点启动hadoop

向hadoop集群上提交一个jar 基于hadoop的集群搭建_配置文件_36


8、在备用主节点启动yarn服务

向hadoop集群上提交一个jar 基于hadoop的集群搭建_hadoop_37


9、在主节点使用命令“jps’”查看Java进程信息，若有名为“NameNode"、“ ResourceManager”、“DFSZKFailoverController"的三个进程，则表示Hadoop集群的主节点启动成功。

向hadoop集群上提交一个jar 基于hadoop的集群搭建_Hadoop_38


10、使用命令“ssh目标主机名或IP地址”远程登录到所有数据节点主机，使用命令“jps" 查看Java进程信息，若有名为“DataNode"、“NodeManager"、“ JournalNode"的三个进程，则表示Hadoop集群的数据节点启动成功。

向hadoop集群上提交一个jar 基于hadoop的集群搭建_配置文件_39


五、Hadoop高可用完全分布模式验证

1、在hadoop中创建当前登录用户自己的目录

向hadoop集群上提交一个jar 基于hadoop的集群搭建_向hadoop集群上提交一个jar_40


2、运行使用蒙地卡罗法计算PI的实例程序

向hadoop集群上提交一个jar 基于hadoop的集群搭建_配置文件_41


向hadoop集群上提交一个jar 基于hadoop的集群搭建_Hadoop_42

5、实验心得

本次实验出现的问题，有两个原因，一是粗心，二是没有仔细的查看执行命令后存在的错误。以下是对本次实验的心得：
（1）要有耐心，在命令输入完后进行重复检查，与PPT核对究竟是在那个主机上执行。
（2）出现错误不能放过，会导致后期任务出错，使前面的工作功亏一篑。
（3）遇到错误要冷静，仔细检查并且通过询问老师和同学找出错误在哪，最后才能得到解决。