1.下载的安装包(以下为安装包),将安装包用Xftp放置在客户机的对应目录下(opt/software) hadoop-3.1.4.tar.gz
2.解压hadoop,解压命令如下:
tar -zxvf /opt/software/hadoop-3.1.4.tar.gz -C /usr/app
3.修改配置文件 (1)修改hadoop-env.sh和yarn-env.sh
vi /usr/app/hadoop-3.1.4/etc/hadoop/hadoop-env.sh
将export JAVAHOME= 改为export JAVAHOME=/usr/app/jdk1.8
(2)修改core-site.xml和hdfs-site.xml
vi /usr/app/hadoop-3.1.4/etc/hadoop/core-site.xml
将
hadoop.tmp.dir
/data/hadoop/tmp
fs.defaultFS
hdfs://VM4:8020
vi /usr/app/hadoop-3.1.4/etc/hadoop/hdfs-site.xml
将
dfs.namenode.http-address
VM4:50070
dfs.replication
3
dfs.permissions.enabled
false
dfs.blocksize
134217728
dfs.namenode.name.dir
/data/hadoop/namenode
dfs.datanode.name.dir
/data/hadoop/datanode
(3)修改mapred-site.xml和yarn-site.xml以及workers
vi /usr/app/hadoop-3.1.4/etc/hadoop/mapred-site.xml
yarn
yarn.app.mapreduce.am.env
HADOOPMAPREDHOME=/opt/hadoop-3.1.4
mapreduce.application.classpath
/opt/hadoop-3.1.4/share/hadoop/mapreduce/:/opt/hadoop-3.1.4/share/hadoop/mapreduce/lib/
vi /usr/app/hadoop-3.1.4/etc/hadoop/yarn-site.xml
yarn.resourcemanager.hostname
VM4
yarn.nodemanager.aux-services
mapreduce_shuffle
yarn.nodemanager.vmem-check-enabled
false
vi /usr/app/hadoop-3.1.4/etc/hadoop/workers
VM4
VM5
VM6
4.拷贝hadoop安装包到第二、三台客户机(命令如下) scp -r /usr/app/hadoop-3.1.4/ VM5: /usr/app
scp -r /usr/app/hadoop-3.1.4/ VM6: /usr/app
5.创建数据目录(命令如下) mkdir -p /data/hadoop/tmp
mkdir -p /data/hadoop/nodename
控制第二台:ssh VM5 "mkdir -p /data/hadoop/tmp"
ssh VM5 "mkdir -p /data/hadoop/datanode"
控制第三台:ssh VM6 "mkdir -p /data/hadoop/tmp"
ssh VM6 "mkdir -p /data/hadoop/datanode"
6.查看所创建的数据目录 ls /data/hadoop
7.格式化HDFS 进入cd /usr/app/hadoop-3.1.4/bin目录下(输入如下命令将其格式化)
./hdfs namenode -format cluster_demo01
8.添加hadoop环境变量(命令如下) vi /etc/profile
添加(如下命令并进行保存)
export HADOOP_HOME=/usr/app/hadoop-3.1.4
export PATH=HADOOP_HOME/bin
9.使hadoop环境变量生效(命令如下) source /etc/profile
10.查看hadoop环境变量是否正确(命令如下) hadoop version
11.Hadoop集群启动/关闭采用下面步骤: 在VM4节点:$HADOOP_HOME/sbin/start-dfs.sh ,启动HDFS 。
在VM5节点:$HADOOP_HOME/sbin/start-yarn.sh, 启动YARN。
在VM4节点:$HADOOP_HOME/bin/mapred --daemon start historyserver,启动
日志服务。
在VM4节点:$HADOOP_HOME/sbin/stop-dfs.sh ,关闭HDFS 。
在VM5节点:$HADOOP_HOME/sbin/stop-yarn.sh, 关闭YARN。
在VM4节点:$HADOOP_HOME/bin/mapred --daemon stop historyserver,关闭
日志服务。
注意:HDFS 启动时报错,需要在/usr/app/hadoop-3.1.4/etc/hadoop/hadoop-env.sh中添加如下信息
export HDFSNAMENODEUSER=root
export HDFSDATANODEUSER=root
export HDFSSECONDARYNAMENODEUSER=root
export YARNRESOURCEMANAGERUSER=root
export YARNNODEMANAGERUSER=root
12.打开浏览器(将以下网址输入),查看是否能将hdfs和yarn界面打开,如发现打不开,回滚到前面一步一步检查,看看哪里出错。 192.168.2.144:50070
192.168.2.145:8088
13.hadoop的安全模式进入和退出(命令如下) (1)查看hadoop是否处于安全模式下(命令如下)
hdfs dfsadmin -safemode get (2)让hadoop进入安全模式下(命令如下)
hdfs dfsadmin -safemode enter (3)在hadoop安全模式下输入(命令如下)
hadoop dfsadmin-safemode leave hadoop的常用操作