一、创建虚拟机

步骤一:打开VMware Workstation Pro

一、Hadoop集群虚拟机环境搭建_vim

步骤二

一、Hadoop集群虚拟机环境搭建_ssh_02

步骤三

一、Hadoop集群虚拟机环境搭建_vim_03

步骤四

一、Hadoop集群虚拟机环境搭建_hadoop_04

步骤五

一、Hadoop集群虚拟机环境搭建_主机名_05

步骤六

一、Hadoop集群虚拟机环境搭建_主机名_06

步骤七:安装中

一、Hadoop集群虚拟机环境搭建_主机名_07

步骤八:安装完成,输入密码(root)

一、Hadoop集群虚拟机环境搭建_vim_08

步骤九:用户界面,安装成功

一、Hadoop集群虚拟机环境搭建_hadoop_09

二、克隆虚拟机

克隆两台虚拟机,名字分别为Hadoop2和Hadoop3

步骤一:

一、Hadoop集群虚拟机环境搭建_ssh_10

步骤二:

一、Hadoop集群虚拟机环境搭建_vim_11

步骤三:

一、Hadoop集群虚拟机环境搭建_主机名_12

步骤四:

一、Hadoop集群虚拟机环境搭建_主机名_13

步骤五:

一、Hadoop集群虚拟机环境搭建_主机名_14

步骤六:

一、Hadoop集群虚拟机环境搭建_vim_15

步骤七:

一、Hadoop集群虚拟机环境搭建_主机名_16

按照这个步骤再次创建一个Hadoop3

一、Hadoop集群虚拟机环境搭建_vim_17

步骤八:

1.设置虚拟机内存

主机的内存设置为4GB因为主机需要安装的软件很多,多分配2GB。

一、Hadoop集群虚拟机环境搭建_vim_18

2.设置

一、Hadoop集群虚拟机环境搭建_主机名_19

3.设置成功

一、Hadoop集群虚拟机环境搭建_主机名_20

步骤九:接下来两个虚拟机的内存设置为2GB

一、Hadoop集群虚拟机环境搭建_vim_21

三、修改主机名配置固定ip

3.1、查看当前主机名

(1) hostname或者cat /etc/hostname

一、Hadoop集群虚拟机环境搭建_hadoop_22

(2) vim /etc/hostname 进入vim编辑器模式修改主机名hostname

一、Hadoop集群虚拟机环境搭建_主机名_23

(3) hostnamectl set-hostname 主机名

一、Hadoop集群虚拟机环境搭建_ssh_24

(4)重启系统

reboot
3.2、设置固定ip

(0)虚拟网络编辑器

网段设置为192.168.88.0

网段设置为192.168.88.2

(1)查看网卡配置

一、Hadoop集群虚拟机环境搭建_vim_25

(2)修改网卡配置

vim /etc/sysconfig/network-scripts/ifcfg-ens33

注意:

不是root权限修改不了文件的内容、如果没有切换到root权限就进入了vim模式,需要使用esc进入命令模式,然后使用:q!命令强制退出vim模式,编辑的内容不会被保存。

配置内容

hadoop01==>192.168.88.101

hadoop02==>192.168.88.102

hadoop03==>192.168.88.103

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
BOOTPROTO="static"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="de86bec4-4d6c-499e-bcce-9d3223b4d586"
DEVICE="ens33"
ONBOOT="yes"
IPADDR=192.168.88.101
NETMASK=255.255.255.0
GATEWAY=192.168.88.2
DNS1=192.168.88.2

一、Hadoop集群虚拟机环境搭建_hadoop_26

(3) 重启网络服务

systemctl restart network

(4) 修改成功

一、Hadoop集群虚拟机环境搭建_ssh_27

四、配置主机名映射

4.1、Windows配置主机名映射

一、Hadoop集群虚拟机环境搭建_vim_28

下载FinalShell3.9.76

下载地址

https://www.hostbuf.com/t/988.html

使用

一、Hadoop集群虚拟机环境搭建_vim_29

注意:

如果说链接失败,在虚拟机ping主机地址,试试看ping的通不,如果ping不通,请关闭该虚拟机,打开网络桥接模式(不会可以百度问老师)
4.2、linux配置主机名映射

三台虚拟机步骤一样,内容一样

内容:

192.168.88.101 hadoop01
192.168.88.102 hadoop02
192.168.88.103 hadoop03

步骤一:vim /etc/hosts

一、Hadoop集群虚拟机环境搭建_hadoop_30

步骤二:写入内容

一、Hadoop集群虚拟机环境搭建_主机名_31

步骤三:保存并退出

五、ssh免密登录

技能目标:

1.三台虚拟机设置免密登录

步骤一:ssh-keygen -t rsa -b 4096 执行后一直按回车

一、Hadoop集群虚拟机环境搭建_hadoop_32

步骤二:cd .ssh 然后ll查看密钥生成情况

一、Hadoop集群虚拟机环境搭建_vim_33

步骤三:

三台虚拟机同时执行
执行ssh-copy-id hadoop01
执行ssh-copy-id hadoop02
执行ssh-copy-id hadoop03

一、Hadoop集群虚拟机环境搭建_ssh_34

六、JDK环境部署

步骤零:将jdk压缩包,放进~目录

步骤一:三台虚拟机都要创建/export/server,上传jdk

从~目录,解压到/export/server

1.创建文件夹
mkdir -p /export/server

步骤二:第一台虚拟机解压JDK安装文件

tar -zxvf jdk-8u361-linux-x64.tar.gz -C /export/server

一、Hadoop集群虚拟机环境搭建_主机名_35

步骤三:配置JDK的软链接

ln -s /export/server/jdk1.8.0_361 /export/server/jdk

一、Hadoop集群虚拟机环境搭建_ssh_36

步骤四:第一台虚拟机配置JAVA_HOME环境变量,将$JAVA_HOME/bin文件夹加入PATH环境变量(三台虚拟机都需要)

vim /etc/profile
编辑/etc/profile文件
export JAVA_HOME=/export/server/jdk
export PATH=$PATH:$JAVA_HOME/bin

一、Hadoop集群虚拟机环境搭建_vim_37

步骤五:第一台虚拟机生成环境变量

source /etc/profile

一、Hadoop集群虚拟机环境搭建_hadoop_38

步骤六:第一台配置java执行程序的软链接

1.删除系统自带的java程序
rm -f /usr/bin/java
2.软链接自己安装的java程序
ln -s /export/server/jdk/bin/java /usr/bin/java

步骤七:第一台虚拟机执行验证

java -version
javac -version

一、Hadoop集群虚拟机环境搭建_vim_39

步骤八:

hadoop02和hadoop03执行mkdir -p /export/server

在虚拟机hadoop01中cd到/export/server复制jdk软件到hadoop02和hadoop03虚拟机

scp -r jdk1.8.0_361 hadoop02:`pwd`/   备注:赋值给第二台虚拟机
scp -r jdk1.8.0_361 hadoop03:`pwd`/   备注:赋值给第三台虚拟机

注意事项

hadoop02、hadoop03的javac版本信息出不来的话,在第一台复制给第二台第三台虚拟机的时候,配置软链接,配置java环境,生成java环境、删除主机原来java程序、软链接自己安装的java程序、后续步骤都要有。

七、关闭防火墙和SELinux、配置时间同步

7.1、关闭防火墙
1.关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
2.查看防火墙状态
systemctl status firewalld

一、Hadoop集群虚拟机环境搭建_主机名_40

7.2、关闭SELiinux
vim /etc/sysconfig/selinux
将SELINUX=enforcing改为SELINUX=disabled

一、Hadoop集群虚拟机环境搭建_hadoop_41

断开链接重连

init 6

一、Hadoop集群虚拟机环境搭建_主机名_42

7.3、配置三台虚拟机时间同步
1.安装ntp
yum install -y ntp
备注:
如果报错了,cannot find 什么什么东西
两个解决方法,
(1)首先看有没有联网ping www.baidu.com(没有配置dns导致网络链接失败)
(2)虚拟网络配置,是否配置成和虚拟机一样的
(3)配置yum源
2.更新时区
rm -f /etc/localtime
sudo ln -s /usr/share/zoneinfo/Asia/Shanghai /etc/localtime
3.同步时间
ntpdate -u ntp.aliyun.com
4.开机自启动
systemctl start ntpd
5.查看日期
date

一、Hadoop集群虚拟机环境搭建_vim_43

十、命令大全

1.查看当前主机名
hostname或者cat /etc/hostname
2.修改主机名
vim /etc/hostname 进入vim编辑器模式修改主机名
hostnamectl set-hostname 主机名
3.重启系统
reboot

4.查看网卡配置和网络状态
ifconfig 或者ip addr
5.切换root权限
su root
6.切换创建的账号权限
su liuqiang
7.修改网卡配置文件ifcfg-ens33
vim /etc/sysconfig/network-scripts/ifcfg-ens33
8.重启网络服务
systemctl restart network 或者 service network restart

9.创建用户
useradd user01
10.设置密码
passwd user01