Hadoop 伪分布式的搭建(六)——Hadoop伪分布式集群的安装配置

前面的基本环境准备完成之后,接下来就开始安装hadoop伪分布式环境,在这里选择安装Hadoop2.7.3版本,大家可以到官网或者其他的资源下载网站下载文件hadoop-2.7.3.tar.gz的安装包。使用远程传输工具,将下载好的安装包上传到/home/hadoop/app/目录下,具体的操作如下:

centos7伪分布式启动hadoop需要输入密码 hadoop伪分布式安装_Hadoop


使用解压命令:“tar -zxvf hadoop-2.7.3.tar.gz”解压Hadoop安装包,具体操作如下:

centos7伪分布式启动hadoop需要输入密码 hadoop伪分布式安装_控制台输入_02


使用cd 命令切换到Hadoop配置文件目录(即hadoop安装目录下的etc/hadoop子目录),具体操作如下:

centos7伪分布式启动hadoop需要输入密码 hadoop伪分布式安装_Hadoop_03


在控制台输入:vi core-site.xml命令,修改core-site.xml配置文件,修改的内容包括默认的文件系统,hadoop临时(tmp)目录,hadoop的相关权限,具体的操作如下图所示:

centos7伪分布式启动hadoop需要输入密码 hadoop伪分布式安装_控制台输入_04


在控制台输入:“vi hdfs-site.xml”命令,修改hdfs-site.xml配置文件,修改的内容包括元数据存储目录,数据存数目录,副本目录,副本个数,HDFS权限,具体操作如下:

centos7伪分布式启动hadoop需要输入密码 hadoop伪分布式安装_控制台输入_05


在控制台输入:“vi hadoop-env.sh”命令修改hadoop-env.sh的配置文件,修改JAVA_HOME(即jdk的安装目录),具体操作如下:

centos7伪分布式启动hadoop需要输入密码 hadoop伪分布式安装_Hadoop_06


在控制台使用:“vi mapred-site.xml”命令,修改mapred-site.xml配置文件,配置mapreduce的运行框架,具体操作如下:

centos7伪分布式启动hadoop需要输入密码 hadoop伪分布式安装_hadoop_07


在控制台输入:“vi yarn-site.xml”修改yarn-site.xm 配置文件,配置MapReduce在YARN上的运行的辅助服务,具体操作如下:

centos7伪分布式启动hadoop需要输入密码 hadoop伪分布式安装_Hadoop_08


在控制台输入:“vi slaves”命令,修改slaves配置文件,配置DataNode所在节点的主机名,具体操作如下:

centos7伪分布式启动hadoop需要输入密码 hadoop伪分布式安装_Hadoop_09


创建Hadoop 2.7.3的软连接,具体操作如下:

centos7伪分布式启动hadoop需要输入密码 hadoop伪分布式安装_hadoop_10


在控制台输入:“vi ~/.bashrc”命令,配置Hadoop环境变量,就提操作如下:

centos7伪分布式启动hadoop需要输入密码 hadoop伪分布式安装_Hadoop_11


通过source命令使得配置文件生效,具体操作如下:

centos7伪分布式启动hadoop需要输入密码 hadoop伪分布式安装_Hadoop_12


创建Hadoop相关数据目录,具体操作如下:

centos7伪分布式启动hadoop需要输入密码 hadoop伪分布式安装_控制台输入_13


在控制台输入;"bin/hadoop namenode -format"命令格式化NameNode(HDFS文件系统中用于存储和管理元数据信息的组件),具体操作如下:

centos7伪分布式启动hadoop需要输入密码 hadoop伪分布式安装_hadoop_14


出现下图表示成功:

centos7伪分布式启动hadoop需要输入密码 hadoop伪分布式安装_Hadoop_15

表示成功。

在控制台输入:“sbin/start-all.sh”启动Hadoop伪分布式集群,如图所示:

centos7伪分布式启动hadoop需要输入密码 hadoop伪分布式安装_Hadoop_16


通过jps命令查看Hadoop的启动进程,具体操作如下:

centos7伪分布式启动hadoop需要输入密码 hadoop伪分布式安装_控制台输入_17


通过上图可以看出,Hadoop伪分布式集群的进程都已经启动,想要关闭Hadoop伪分布式集群,可以使用:“stop-all.sh”脚本。

可以在浏览器中输入:192.168.56.110(或者lxf):50070地址查看HDFS的web界面,如下图所示:

centos7伪分布式启动hadoop需要输入密码 hadoop伪分布式安装_Hadoop_18


在浏览器中输入192.168.56.110:8088地址可以查看YARN Web 界面:

centos7伪分布式启动hadoop需要输入密码 hadoop伪分布式安装_控制台输入_19


通过web界面可以查看到MapReduce作业运行情况。

如果WordCount测试运行没有问题,说明Hadoop伪分布式集群已经搭建成功了。