Hadoop环境

  • Hadoop集群拓扑
  • 1、集群拓扑
  • 2、角色分配
  • 一、虚拟机安装
  • 二、虚拟机克隆
  • 1、克隆类型
  • (1)完整克隆
  • (2)链接克隆
  • 2、克隆步骤
  • (1)克隆出master虚拟机
  • (2)克隆出slave1虚拟机
  • (3)克隆出slave2虚拟机
  • 三 、虚拟机配置
  • 1、配置master虚拟机
  • (1)设置主机名
  • (2)设置静态IP地址
  • (3)配置主机名与IP地址映射
  • 2、配置slave1虚拟机
  • (1)设置主机名
  • (2)设置静态IP地址
  • 四、关闭SeLinux安全机制
  • 1、在master虚拟机上关闭SeLinux安全机制
  • 2、在slave1虚拟机上关闭SeLinux安全机制
  • 3、在slave2虚拟机上关闭SeLinux安全机制


Hadoop集群拓扑

1、集群拓扑

一个主节点,两个从节点

2、角色分配

完全分布式Hadoop集群搭建需要在集群的每个节点都安装Hadoop,集群角色分配如下表所示。

节点

角色

master

NameNode, DataNode

slave1

DataNode

slave2

DataNode

一、虚拟机安装

安装虚拟机CentOS 7

  • 配置了静态IP地址(192.168.1.100)和主机名(ied)
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_大数据

  • 关闭与禁用了防火墙
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_学习_02

  • 安装了vim编辑器
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_学习_03

二、虚拟机克隆

1、克隆类型

(1)完整克隆

  • 完整克隆是对原始虚拟机完全独立的一个拷贝,它不和原始虚拟机共享任何资源,可以脱离原始虚拟机独立使用。

(2)链接克隆

  • 链接克隆需要和原始虚拟机共享同一虚拟磁盘文件,不能脱离原始虚拟机独立运行。但是采用共享磁盘文件可以极大缩短创建克隆虚拟机的时间,同时还节省物理磁盘空间。

2、克隆步骤

(1)克隆出master虚拟机

  • 关闭CentOS 7虚拟机,在VMware工具左侧系统资源库中右键单击CentOS 7,选择“管理”列表下的“克隆”选项,弹出克隆虚拟机向导。
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_主机名_04


  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_主机名_05

  • 选择克隆源——虚拟机中的当前状态
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_虚拟机hadoop用户名怎么改_06

  • 选择克隆类型——创建链接克隆
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_学习_07

  • 设置新虚拟机名称和位置
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_虚拟机hadoop用户名怎么改_08

  • 单击【完成】按钮
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_hadoop_09

  • 单击【关闭】,查看master虚拟机
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_虚拟机hadoop用户名怎么改_10

(2)克隆出slave1虚拟机

  • 按照克隆master虚拟机的步骤克隆出slave1虚拟机

(3)克隆出slave2虚拟机

  • 按照克隆master虚拟机的步骤克隆出slave2虚拟机
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_主机名_11


三 、虚拟机配置

1、配置master虚拟机

  • 启动master虚拟机
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_大数据_12


(1)设置主机名

  • 执行命令:hostnamectl set-hostname master
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_大数据_13

  • 重启虚拟机,提示符变成[root@master ~]#
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_学习_14

(2)设置静态IP地址

  • 查看IP地址可选范围
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_大数据_15

  • 查看网关配置
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_学习_16

  • 执行命令:vim /etc/sysconfig/network-scripts/ifcfg-ens33
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_学习_17

  • 存盘退出,执行命令:systemctl restart network
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_虚拟机hadoop用户名怎么改_18

  • 执行命令:ip addr,查看设置的静态IP地址
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_大数据_19

(3)配置主机名与IP地址映射

  • 执行命令:vim /etc/hosts,添加三个映射(集群有三个虚拟机)
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_学习_20

  • 存盘退出,验证配置效果
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_大数据_21

2、配置slave1虚拟机

  • 启动slave1虚拟机
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_大数据_22


(1)设置主机名

  • 执行命令:hostnamectl set-hostname slave1
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_hadoop_23

  • 重启虚拟机,提示符变成[root@slave1~]#
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_虚拟机hadoop用户名怎么改_24

(2)设置静态IP地址

  • 执行命令:vim /etc/sysconfig/network-scripts/ifcfg-ens33
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_主机名_25

  • 存盘退出,执行命令:systemctl restart network
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_hadoop_26

  • 执行命令:ip addr,查看设置的静态IP地址
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_学习_27

(3)配置主机名与IP地址映射

  • 执行命令:vim /etc/hosts,添加三个映射(集群有三个虚拟机)
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_虚拟机hadoop用户名怎么改_28

  • 存盘退出,验证配置效果

  • slave1虚拟机可以通过主机名来ping通master虚拟机和slave1虚拟机
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_主机名_29

  • master虚拟机可以通过主机名来ping通slave1虚拟机
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_大数据_30

3、配置slave2虚拟机

  • 启动slave2虚拟机

操作与slave1相同

  • slave2虚拟机可以通过主机名来ping通master虚拟机、slave1虚拟机和slave2虚拟机
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_大数据_31

  • master虚拟机可以通过主机名来ping通slave1虚拟机和slave2虚拟机
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_主机名_32

四、关闭SeLinux安全机制
  • 安全增强型 Linux(Security-Enhanced Linux)简称 SELinux,它是一个 Linux 内核模块,也是 Linux 的一个安全子系统。
  • SELinux 主要作用就是最大限度地减小系统中服务进程可访问的资源(最小权限原则)。
  • SELinux 有三种工作模式,分别是enforcing:强制模式;permissive:宽容模式;disabled:关闭 SELinux。
  • /etc/sysconfig/selinux 文件里SELINUX=enforcing,将enforcing改成disabled,就可以关闭SeLinux安全机制

1、在master虚拟机上关闭SeLinux安全机制

  • 执行命令:vim /etc/sysconfig/selinux
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_学习_33


2、在slave1虚拟机上关闭SeLinux安全机制

  • 执行命令:vim /etc/sysconfig/selinux
  • 虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_虚拟机hadoop用户名怎么改_34


3、在slave2虚拟机上关闭SeLinux安全机制

  • 执行命令:vim /etc/sysconfig/selinux

虚拟机hadoop用户名怎么改 hadoop虚拟机环境准备步骤_虚拟机hadoop用户名怎么改_35