1.下载的安装包(以下为安装包),将安装包用Xftp放置在客户机的对应目录下(opt/software) hadoop-3.1.4.tar.gz

2.解压hadoop,解压命令如下:

tar -zxvf /opt/software/hadoop-3.1.4.tar.gz -C /usr/app

3.修改配置文件 (1)修改hadoop-env.sh和yarn-env.sh

vi /usr/app/hadoop-3.1.4/etc/hadoop/hadoop-env.sh

将export JAVAHOME= 改为export JAVAHOME=/usr/app/jdk1.8

(2)修改core-site.xml和hdfs-site.xml

vi /usr/app/hadoop-3.1.4/etc/hadoop/core-site.xml

hadoop.tmp.dir

/data/hadoop/tmp

fs.defaultFS

hdfs://VM4:8020

vi /usr/app/hadoop-3.1.4/etc/hadoop/hdfs-site.xml

dfs.namenode.http-address

VM4:50070

dfs.replication

3

dfs.permissions.enabled

false

dfs.blocksize

134217728

dfs.namenode.name.dir

/data/hadoop/namenode

dfs.datanode.name.dir

/data/hadoop/datanode

(3)修改mapred-site.xml和yarn-site.xml以及workers

vi /usr/app/hadoop-3.1.4/etc/hadoop/mapred-site.xml

mapreduce.framework.name

yarn

yarn.app.mapreduce.am.env

HADOOPMAPREDHOME=/opt/hadoop-3.1.4

mapreduce.application.classpath

/opt/hadoop-3.1.4/share/hadoop/mapreduce/:/opt/hadoop-3.1.4/share/hadoop/mapreduce/lib/

vi /usr/app/hadoop-3.1.4/etc/hadoop/yarn-site.xml

yarn.resourcemanager.hostname

VM4

yarn.nodemanager.aux-services

mapreduce_shuffle

yarn.nodemanager.vmem-check-enabled

false

vi /usr/app/hadoop-3.1.4/etc/hadoop/workers

VM4

VM5

VM6

4.拷贝hadoop安装包到第二、三台客户机(命令如下) scp -r /usr/app/hadoop-3.1.4/ VM5: /usr/app

scp -r /usr/app/hadoop-3.1.4/ VM6: /usr/app

5.创建数据目录(命令如下) mkdir -p /data/hadoop/tmp

mkdir -p /data/hadoop/nodename

控制第二台:ssh VM5 "mkdir -p /data/hadoop/tmp"

ssh VM5 "mkdir -p /data/hadoop/datanode"

控制第三台:ssh VM6 "mkdir -p /data/hadoop/tmp"

ssh VM6 "mkdir -p  /data/hadoop/datanode"

6.查看所创建的数据目录 ls /data/hadoop

7.格式化HDFS 进入cd /usr/app/hadoop-3.1.4/bin目录下(输入如下命令将其格式化)

./hdfs namenode -format cluster_demo01

8.添加hadoop环境变量(命令如下) vi /etc/profile

添加(如下命令并进行保存)

export HADOOP_HOME=/usr/app/hadoop-3.1.4

export PATH=HADOOP 的安装过程_hdfsHADOOP_HOME/bin

9.使hadoop环境变量生效(命令如下) source /etc/profile

10.查看hadoop环境变量是否正确(命令如下) hadoop version

11.Hadoop集群启动/关闭采用下面步骤: 在VM4节点:$HADOOP_HOME/sbin/start-dfs.sh ,启动HDFS 。

在VM5节点:$HADOOP_HOME/sbin/start-yarn.sh, 启动YARN。

在VM4节点:$HADOOP_HOME/bin/mapred --daemon start historyserver,启动

日志服务。

在VM4节点:$HADOOP_HOME/sbin/stop-dfs.sh ,关闭HDFS 。

在VM5节点:$HADOOP_HOME/sbin/stop-yarn.sh, 关闭YARN。

在VM4节点:$HADOOP_HOME/bin/mapred --daemon stop historyserver,关闭

日志服务。

注意:HDFS 启动时报错,需要在/usr/app/hadoop-3.1.4/etc/hadoop/hadoop-env.sh中添加如下信息

export HDFSNAMENODEUSER=root

export HDFSDATANODEUSER=root

export HDFSSECONDARYNAMENODEUSER=root

export YARNRESOURCEMANAGERUSER=root

export YARNNODEMANAGERUSER=root

12.打开浏览器(将以下网址输入),查看是否能将hdfs和yarn界面打开,如发现打不开,回滚到前面一步一步检查,看看哪里出错。 192.168.2.144:50070

192.168.2.145:8088

13.hadoop的安全模式进入和退出(命令如下) (1)查看hadoop是否处于安全模式下(命令如下)

hdfs dfsadmin -safemode get (2)让hadoop进入安全模式下(命令如下)

hdfs dfsadmin -safemode enter (3)在hadoop安全模式下输入(命令如下)

hadoop dfsadmin-safemode leave hadoop的常用操作