1、虚拟机环境准备

1、准备一台虚拟机

头歌Hadoop部署模式 头歌hadoop环境搭建答案_头歌Hadoop部署模式


2、配置网络设置静态IP

具体参考:Linux网络配置

头歌Hadoop部署模式 头歌hadoop环境搭建答案_linux_02


3、修改主机名

vim /etc/sysconfig/network

头歌Hadoop部署模式 头歌hadoop环境搭建答案_linux_03


4、关闭防火墙

#1:查看防火状态
systemctl status firewalld
service  iptables status

#2:暂时关闭防火墙
systemctl stop firewalld
service  iptables stop

#3:永久关闭防火墙
systemctl disable firewalld
chkconfig iptables off

5、创建一个新用户

#adduser zhukun  //添加一个名为zhukun的用户
#passwd zhukun   //修改密码
Changing password for user zhukun.
New UNIX password:          //在这里输入新密码
Retype new UNIX password:   //再次输入新密码
passwd: all authentication tokens updated successfully.

6、赋予新用户root权限

修改 /etc/sudoers 文件,找到下面一行,在root下面添加一行,如下所示:

头歌Hadoop部署模式 头歌hadoop环境搭建答案_头歌Hadoop部署模式_04


修改完毕,现在可以用zhukun帐号登录,然后用命令 sudo – ,即可获得root权限进行操作。

7、在/opt目录下创建文件夹
1、在/opt目录下创建module、software文件夹

sudo mkdir module
sudo mkdir software

2、修改module、software文件夹所有者

sudo chown zhukun:zhukun module/ software/

头歌Hadoop部署模式 头歌hadoop环境搭建答案_Linux 下JDK安装_05

2、安装JDK和Hadoop

JDK资源:
链接:https://pan.baidu.com/s/1C1Pw0iaog3dFGHQAilru3w 提取码:b3kn
Hadoop资源:
链接:https://pan.baidu.com/s/15cyEaVsbJpRkH6ce459XWg 提取码:pzda

1、用Xftp工具将JDK压缩包和Hadoop导入到opt目录下面的software文件夹下面

Xshell和Xftp的安装和使用

头歌Hadoop部署模式 头歌hadoop环境搭建答案_linux_06


2、在Linux系统下的opt目录查看软件包是否成功导入

头歌Hadoop部署模式 头歌hadoop环境搭建答案_头歌Hadoop部署模式_07


3、将压缩包解压到/opt/module 目录下

tar -zxvf jdk-8u144-linux-x64.tar.gz -C /opt/module/
tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/

头歌Hadoop部署模式 头歌hadoop环境搭建答案_大数据_08


4、配置JDK环境变量

(1)先获取JDK路径

[zhukun@hadoop101 jdk1.8.0_144]$ pwd
/opt/module/jdk1.8.0_144

(2)打开/etc/profile文件

[zhukun@hadoop101 software]$ sudo vim /etc/profile

在profile文件末尾添加JDK路径

头歌Hadoop部署模式 头歌hadoop环境搭建答案_Linux 下JDK安装_09


(3)保存后退出

(4)让修改后的文件生效

[zhukun@hadoop101 jdk1.8.0_144]$ source /etc/profile

5、测试JDK是否安装成功

[zhukun@hadoop101 jdk1.8.0_144]# java -version
java version "1.8.0_144"

头歌Hadoop部署模式 头歌hadoop环境搭建答案_linux_10


说明安装成功,如果没显示重启系统reboot

6、将Hadoop添加到环境变量
(1)获取Hadoop安装路径

[zhukun@hadoop101 hadoop-2.7.2]$ pwd
/opt/module/hadoop-2.7.2

(2)打开/etc/profile文件

[zhukun@hadoop101 hadoop-2.7.2]$ sudo vi /etc/profile

头歌Hadoop部署模式 头歌hadoop环境搭建答案_hadoop_11


(3)保存后退出

(4)让修改后的文件生效

[zhukun@ hadoop101 hadoop-2.7.2]$ source /etc/profile

7、测试Hadoop是否安装成功

[zhukun@hadoop101 hadoop-2.7.2]$ hadoop version
Hadoop 2.7.2

头歌Hadoop部署模式 头歌hadoop环境搭建答案_Linux 下JDK安装_12


说明安装成功,如果没显示重启系统reboot

3、Hadoop的目录结构

1、查看Hadoop目录结构

头歌Hadoop部署模式 头歌hadoop环境搭建答案_hadoop_13

2、重要目录

(1)bin目录:存放对Hadoop相关服务(HDFS,YARN)进行操作的脚本

头歌Hadoop部署模式 头歌hadoop环境搭建答案_linux_14


(2)etc目录:Hadoop的配置文件目录,存放Hadoop的配置文件

头歌Hadoop部署模式 头歌hadoop环境搭建答案_Linux 下JDK安装_15


(3)lib目录:存放Hadoop的本地库(对数据进行压缩解压缩功能)

头歌Hadoop部署模式 头歌hadoop环境搭建答案_linux_16


(4)sbin目录:存放启动或停止Hadoop相关服务的脚本

头歌Hadoop部署模式 头歌hadoop环境搭建答案_hadoop_17


(5)share目录:存放Hadoop的依赖jar包、文档、和官方案例

头歌Hadoop部署模式 头歌hadoop环境搭建答案_大数据_18