目录

  • 一、环境搭建目标
  • 二、基础环境搭建
  • 1、hosts在3台服务器的映射
  • 2.关闭防火墙
  • 3.免密登录
  • 4.同步系统时间
  • 5.创建服务器统一工作目录
  • 6.安装jdk环境
  • 三、问题处理
  • 三、写在最后


一、环境搭建目标

服务器

运行角色

node1.adeaven.com

namenode、datanode、resourceManager、nodeManager

node2.adeaven.com

secondary namenode、datanode、nodeManager

node3.adeaven.com

datanode、nodeManager

二、基础环境搭建

1、hosts在3台服务器的映射

  • 修改node的host文件
vim /etc/hosts

hadoop服务器使用方法 服务器集群hadoop_JAVA

2.关闭防火墙

systemctl stop firewalld # 关闭防火墙，下次启动自动启动
systemctl disable firewalld # 禁止防火墙，永不启动
systemctl status firewalld # 查看防火墙状态

3.免密登录

node1|node2|node3之间相互都是免密

  • 生成ssh免密登录的公钥和私钥

ssh-keygen # 四个回车，搞定

  • 公钥上传到服务器【三台都需要设置，否则无法相互访问】

ssh-copy-id node1
ssh-copy-id node2
ssh-copy-id node3

  • 测试免密登录
node1–》node2 ,打开node1,输入命令 ssh node2
输入命令 exit ,即可推出node2

hadoop服务器使用方法 服务器集群hadoop_JAVA_02

4.同步系统时间

yum -y install ntpdate # 安装 ntpdate
ntpdate ntp4.aliyun.com # 同步时间,如果执行失败，再执行一次
date # 查看同步后的时间

hadoop服务器使用方法 服务器集群hadoop_服务器_03

5.创建服务器统一工作目录

// 软件安装路径
mkdir -p ./export/server/
// 数据存储路径
mkdir -p ./export/data/
// 安装包存放路径
mkdir -p ./export/software/

6.安装jdk环境

  • 上传jdk到node1 /export/software

jdk-8u321-linux-x64.tar.gz 当前使用的是jdk8

  • 解压到 /export/server

tar zxvf export/software/jdk-8u321-linux-x64.tar.gz -C export/server

  • 配置java环境变量

vim /etc/profile

export JAVA_HOME=export/server/jdk1.8.0_321
 export PATH=$PATH:$JAVA_HOME\bin
 export CLASSPATH=.$JAVA_HOME\lib\dt.jar:$jJAVA_HOME\bin\tools.jar
source /etc/profile
java -version

hadoop服务器使用方法 服务器集群hadoop_JAVA_04

  • 同步环境到node2和node3
scp -r /export/server/jdk1.8.0_321 root@node2:/export/server/
scp -r /etc/profile root@node2:/etc/
同步命令解析
scp -r 要同步的文件夹 用户名@ip[主机名]:目标文件夹所在位置

hadoop服务器使用方法 服务器集群hadoop_环境搭建_05

  • 查看node2和node3的java版本
java -version

hadoop服务器使用方法 服务器集群hadoop_hadoop_06

三、问题处理

  • 问题描述

三台服务器的ip在安装系统后分别 192.168.88.128， 192.168.88.129， 192.168.88.130,但是我后来重启几次vmware之后，服务器的ip变了，这就导致我需要修改配置 hostname文件。但这样不解决根本问题，下一次重启ip又变了，总不能再去修改配置文件吧。

  • 解决思路

固定三台服务器的IP

  • 具体操作步骤
step1:输入命名 ifconfig 查看，现有网卡信息

hadoop服务器使用方法 服务器集群hadoop_hadoop_07


step2:切换到 root 用户下,修改网卡信息需要root权限


step3: 根据上图中网卡名称修改网卡信息 vi /etc/sysconfig/network-scripts/ifcfg-ens33，其实ens33是网卡名称。

BOOTPROTO=“static” IPADDR=192.168.88.130 NETMASK=255.255.255.0 GATEWAY=192.168.88.2

hadoop服务器使用方法 服务器集群hadoop_hadoop服务器使用方法_08

step4:编辑 resolv.conf文件

vim /etc/resolv.conf

// 增加内容
nameserver 8.8.8.8
nameserver 8.8.4.4
search localdomain
step4: 保存，退出
step5: 刷新网卡 service network restart

hadoop服务器使用方法 服务器集群hadoop_hadoop_09


step6: 测试 网卡，ping www.baidu.com ，成功即可

三、写在最后

下一篇：我要学习hadoop的集群环境安装及初始化配置