一、 准备工作

1、安装虚拟机

(1)打开安装向导;

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_环境变量


(2)、接受许可协议,点击下一步;

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_配置文件_02


(3)选择典型安装;

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_配置文件_03


(4)更改安装路径;

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_配置文件_04


(5)等待安装完成。

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_配置文件_05


2、 安装Linux操作系统

(1)打开新建虚拟机向导,选择典型,点击下一步;

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop伪分布式部署_06


(2)更改安装路径;

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_环境变量_07


(3)填写安装信息;

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_环境变量_08


(4)将网络适配器更改为桥接模式;

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_环境变量_09


3、 登录Linux操作系统进行相关配置

(1)查看文件夹结构

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_配置文件_10


(2)、测试网络环境

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_配置文件_11


Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop伪分布式部署_12


Hadoop伪分布式部署 hadoop伪分布式搭建步骤_环境变量_13


(3)关闭防火墙

a、关闭并查看firewalld防火墙

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop伪分布式部署_14


b、关闭selinux防火墙

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_配置文件_15


Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop伪分布式部署_16


(4)查询固定CentOS虚拟机ip(192.168.43.243)

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop伪分布式部署_17


Hadoop伪分布式部署 hadoop伪分布式搭建步骤_环境变量_18


Hadoop伪分布式部署 hadoop伪分布式搭建步骤_环境变量_19


(5)修改主机名

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop_20


(6)配置主机名和ip地址映射关系

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop_21


Hadoop伪分布式部署 hadoop伪分布式搭建步骤_配置文件_22


(7)在/usr/local目录下新建java文件夹

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_环境变量_23


(8)下载linux版本jdk并上传至服务器

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_配置文件_24


(9)解压jdk

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop伪分布式部署_25


Hadoop伪分布式部署 hadoop伪分布式搭建步骤_配置文件_26


(10)配置java环境变量

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop_27


Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop伪分布式部署_28


(11)使设置的环境变量生效

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop伪分布式部署_29


二、 Hadoop伪分布式环境的搭建

1、 安装Hadoop

(1) 新建sun文件夹

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop伪分布式部署_30


(2) 下载Hadoop压缩包并上传至服务器

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_环境变量_31


(3) 解压安装Haddoop

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_配置文件_32


Hadoop伪分布式部署 hadoop伪分布式搭建步骤_环境变量_33


2、 环境变量

(1)配置Hadoop环境变量

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop_34


Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop伪分布式部署_35


(2)应用环境变量配置文件更新

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_配置文件_36


3、修改配置文件

进入$HADOOP_HOME/etc/hadoop/目录

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop伪分布式部署_37


(1)hadoop.env.sh运行环境配置文件

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop伪分布式部署_38


Hadoop伪分布式部署 hadoop伪分布式搭建步骤_环境变量_39


(2)core-site.xml核心配置文件

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_配置文件_40


Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop伪分布式部署_41

(3)hdfs–site.xml核心配置文件

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop_42


Hadoop伪分布式部署 hadoop伪分布式搭建步骤_配置文件_43


(4)mapred-site.xml配置

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop_44


Hadoop伪分布式部署 hadoop伪分布式搭建步骤_配置文件_45


(5) yarn-site.xml配置

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop伪分布式部署_46


Hadoop伪分布式部署 hadoop伪分布式搭建步骤_环境变量_47


4、格式化系统

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_环境变量_48


Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop_49


5、启动start-dfs.sh、start-yarn.sh时报错,

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop_50


Hadoop伪分布式部署 hadoop伪分布式搭建步骤_环境变量_51


6、在sbin目录下vi start-dfs.sh、vi stop-dfs.sh、vi start-yarn.sh、vi stop-yarn.sh加入

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop伪分布式部署_52


Hadoop伪分布式部署 hadoop伪分布式搭建步骤_配置文件_53


7、配置SSH免密码登录

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_环境变量_54


Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop伪分布式部署_55


Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop伪分布式部署_56


Hadoop伪分布式部署 hadoop伪分布式搭建步骤_环境变量_57


8、启动Hadoop

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_配置文件_58

三、 Hadoop测试

(1)通过http://192.168.43.243:9870访问Hadoop管理界面

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_Hadoop伪分布式部署_59


(2)通过http://192.168.43.243:8088访问MapReduce管理界面

Hadoop伪分布式部署 hadoop伪分布式搭建步骤_环境变量_60