（三）hadoop的安装_3

  • 欢迎来到语语的自习笔记课堂
  • 一、==hadoop的正式搭建==
  • 1.上传hadoop的压缩包到/opt/software下面
  • 2.解压缩到/opt/module
  • 3.==进行hadoop的配置==（复杂）
  • （1）核心配置文件
  • （2）hdfs配置文件
  • （3）yarn配置文件
  • （4）MR配置文件
  • （5）hadoop的环境变量配置文件
  • （6）集群配置文件
  • 4.同传hadoop的包到其他两个节点（xsync）
  • 5.同传环境变量配置文件
  • 二、SSH免密登录
  • 1.首先进入到root用户的家目录里面
  • 2.进入到.ssh目录
  • 3.原封不动的输入，一路按回车，直到最后结束（大概按三次）
  • 4.密钥对的分发
  • 5.登出
  • 三、启动hadoop
  • 1.先启动HDFS
  • 2.再启动Yarn


欢迎来到语语的自习笔记课堂

勇气是在压力之下展现出的优雅。
												 -- 海鸣威

一、hadoop的正式搭建

前提：三个节点都已安装好JDK
注意：在搭建和启动过程中最好把用户切换成root

1.上传hadoop的压缩包到/opt/software下面

2.解压缩到/opt/module

3.进行hadoop的配置（复杂）

（1）核心配置文件

core -site.xml

（2）hdfs配置文件

hdfs -site.xml

（3）yarn配置文件

yarn -site.xml

（4）MR配置文件

mapred -site.xml

（5）hadoop的环境变量配置文件

hadoop -env.sh

只需要修改JAVA_HOME的位置即可

  • 例如
export JAVA_HOME /opt/module/jdk1.8.0_212

（6）集群配置文件

workers -site.xml

4.同传hadoop的包到其他两个节点（xsync）

注意：退到最外面module去传

5.同传环境变量配置文件

在etc目录下执行xsync

/etc/profile.d/my_env.sh(xsync)

扩：集群部署表

二、SSH免密登录

ssh + ip :从一台服务器登录到另一台服务器

登录前提：你需要知道被登录服务器的密码

ssh在登录过程中不再需要密码

注意：在配置免密登录时，需切换成root用户进行操作。原因:方便后面的hadoop集群启动

1.首先进入到root用户的家目录里面

cd /root

2.进入到.ssh目录

注意：这个目录是一个隐藏目录；有些主机中找不到.ssh目录，只需要使用ssh指令登录任意一台其他主机即可

3.原封不动的输入，一路按回车，直到最后结束（大概按三次）

ssh -keygen -t rsa

4.密钥对的分发

ssh -copy -id hadoop102

注意：要给自己本机也分发一次，做到自免密

5.登出

exit

三、启动hadoop

注意：在正式启动hadoop之前一定要配置各节点之间的免密登录；如果你是刚刚安装完的话（第一次启动），在启动之前一定要进行一次格式化操作

  • 格式化
hdfs namenode -format
//只执行一次（第一次时用）

1.先启动HDFS

在hadoop目录里面有一个目录叫做sbin

在sbin目录里面有一个启动脚本start-dfs.sh，运行该脚本即可启动（root下）

//启动
sbin/start -dfs.sh
//停止
sbin/stop -dfs.sh

2.再启动Yarn

//启动
sbin/start -yarn.sh
//停止
sbin/stop -yarn.sh
//开关顺序
HDFS-->Yarn   --->  Yarn-->HDFS
// 启动                  停止

扩：验证是否开启成功

jps