文章目录
- 一、安装准备工作
- 二、安装
- 1、修改主机名和hosts
- 2.关闭防火墙
- 3、安装包解压
- 4.配置环境变量
- 5、修改Hadoop配置
- 6、同步slave1节点和slave2节点
- 三、启动准备
- 四、启动访问
一、安装准备工作
1、虚拟机准备(centos7)
master : 192.168.220.134
slave1 : 192.168.220.135
slave2 : 192.168.220.136
2、安装包准备(百度网盘下载)
Jdk1.8安装包
Hadoop安装包(版本2.9.2--稳定)
链接:https://pan.baidu.com/s/1En_ZYTj-jOCL2b0FY7FPkA
提取码:whrs
3、安装前说明
1、由于博主个人习惯,一般都是在 /usr/local 下安装,后续配置要跟着文件夹安装目录来,技术稍差的就跟我的文件夹安装目录来。
2、将从网盘下载的 jdk+hadoop安装包上传至 /usr/local 文件夹下
2、三台服务器要网络通畅,能用xhsll之类工具连接上
3、服务器需关闭防火墙
二、安装
1、修改主机名和hosts
##三台机器分别修改为master、slave1、slave2
#打开文件删除原来名称,输入新名称,保存退出
vim /etc/hostname
#重启生效
reboot
#重新连接后修改hosts域名映射
vim /etc/hosts
#在配置文件中加上如下配置(根据自己的IP来)
192.168.220.134 master
192.168.220.135 slave1
192.168.220.136 slave2
#保存退出使之生效
source /etc/hosts
2.关闭防火墙
##三台机器需都执行
service firewalld stop
3、安装包解压
cd /usr/local
tar -zxvf hadoop-2.9.2.tar.gz
tar -zxvf jdk-8u261-linux-x64.tar.gz
#改名
mv hadoop-2.9.2 hadoop
mv jdk1.8.0_261 java
4.配置环境变量
vim /etc/profile
#将下面内容放到最下面
export JAVA_HOME=/usr/local/java
export HADOOP_HOME=/usr/local/hadoop
export PATH=$PATH:$JAVA_HOME/bin:$HADOOP_HOME/bin
#使环境变量生效
. /etc/profile
#检测Jdk和Hadoop是否安装成功
[root@master local]# java -version
openjdk version "1.8.0_262"
OpenJDK Runtime Environment (build 1.8.0_262-b10)
OpenJDK 64-Bit Server VM (build 25.262-b10, mixed mode)
[root@master local]# hadoop version
Hadoop 2.9.2
Subversion https://git-wip-us.apache.org/repos/asf/hadoop.git -r 826afbeae31ca687bc2f8471dc841b66ed2c6704
Compiled by ajisaka on 2018-11-13T12:42Z
Compiled with protoc 2.5.0
From source with checksum 3a9939967262218aa556c684d107985
This command was run using /usr/local/hadoop/share/hadoop/common/hadoop-common-2.9.2.jar
5、修改Hadoop配置
#进入到hadoop配置文件夹下
cd /usr/local/hadoop/etc/hadoop
5.1、core-site.xml
<configuration>
<!-- 指定namenode的地址 -->
<property>
<name>fs.defaultFS</name>
<value>hdfs://master:9000</value>
</property>
<!--用来指定hadoop产生文件存放的目录 -->
<property>
<name>hadoop.tmp.dir</name>
<value>/data/tmp/hadoop</value>
</property>
</configuration>
5.2、hdfs-site.xml
<configuration>
<!--指定hdfs保存数据的副本数量 -->
<property>
<name>dfs.replication</name>
<value>2</value>
</property>
<!--指定hdfs中namenode的存储位置 -->
<property>
<name>dfs.namenode.name.dir</name>
<value>/data/tmp/hadoop/name</value>
</property>
<!--指定hdfs中datanode的存储位置 -->
<property>
<name>dfs.datanode.data.dir</name>
<value>/data/tmp/hadoop/data</value>
</property>
<property>
<name>dfs.secondary.http.address</name>
<value>slave1:50070</value>
</property>
</configuration>
5.3、yarn-site.xml
<configuration>
<!-- Site specific YARN configuration properties -->
<!--namenodeManager获取数据的方式是shuffle -->
<property>
<name>yarn.nodemanager.aux-services</name>
<value>mapreduce_shuffle</value>
</property>
<property>
<name>yarn.resourcemanager.webapp.address</name>
<value>master:8088</value>
</property>
</configuration>
5.4、将mapred-site.xml.template复制一份为mapred-site.xml,在mapred-site.xml中修改
cp mapred-site.xml.template mapred-site.xml
vim mapred-site.xml
#在mapred-site.xml中添加如下内容
<configuration>
<!-- 告诉hadoop以后MR运行在yarn上 -->
<property>
<name>mapreduce.framework.name</name>
<value>yarn</value>
</property>
</configuration>
5.5、修改slaves
添加如下节点
master
slave1
slave2
5.6、修改hadoop-env.sh中jdk的路径
vim hadoop-env.sh
找到export JAVA_HOME={}这行,修改为我们的jdk路径
# The java implementation to use.
export JAVA_HOME=/usr/local/java
5.7、修改yarn-env.sh中jdk路径
# some Java parameters
# export JAVA_HOME=/home/y/libexec/jdk1.6.0/
export JAVA_HOME=/usr/local/java
6、同步slave1节点和slave2节点
#同步环境变量配置 需要输入另外俩台服务器的密码
#同步至slave1中
scp /etc/hosts slave1:/etc/
scp /etc/profile slave1:/etc/
scp -r /usr/local/hadoop slave1:/usr/local
scp -r /usr/local/java slave1:/usr/local
#同步至slave2中
scp /etc/hosts slave2:/etc/
scp /etc/profile slave2:/etc/
scp -r /usr/local/hadoop slave2:/usr/local
scp -r /usr/local/java slave2:/usr/local
#再去slave1节点和slave2节点使配置生效
source /etc/profile
source /etc/hosts
三、启动准备
配置三台机器的秘钥,将三台机器打通ssh,比较简单
#执行下面命令按三下回车就行(三台机器都需执行)
ssh-keygen
cd ~/.ssh
回到master机器上
cd ~/.ssh
#将秘钥追加到authorized_keys上
cat id_rsa.pub >> authorized_keys
#再将另外俩台机器slave1和slave2的id_rsa.pub中的秘钥粘贴复制到master中的authorized_keys中
这样三台机器的秘钥就都在一个文件上了,再将master中的authorized_keys复制到slave1和slave2中
cd ~/.ssh
scp authorized_keys slave1:~/.ssh
scp authorized_keys slave2:/~.ssh
四、启动访问
#在master节点执行 进行格式化
cd /usr/local/hadoop/etc/hadoop
hdfs namenode -format
#启动
cd /usr/local/hadoop/sbin
./start-all.sh
访问web页面
http://master节点IP:50070/ 访问成功: