Hadoop环境
- Hadoop集群拓扑
- 1、集群拓扑
- 2、角色分配
- 一、虚拟机安装
- 二、虚拟机克隆
- 1、克隆类型
- (1)完整克隆
- (2)链接克隆
- 2、克隆步骤
- (1)克隆出master虚拟机
- (2)克隆出slave1虚拟机
- (3)克隆出slave2虚拟机
- 三 、虚拟机配置
- 1、配置master虚拟机
- (1)设置主机名
- (2)设置静态IP地址
- (3)配置主机名与IP地址映射
- 2、配置slave1虚拟机
- (1)设置主机名
- (2)设置静态IP地址
- 四、关闭SeLinux安全机制
- 1、在master虚拟机上关闭SeLinux安全机制
- 2、在slave1虚拟机上关闭SeLinux安全机制
- 3、在slave2虚拟机上关闭SeLinux安全机制
Hadoop集群拓扑
1、集群拓扑
一个主节点,两个从节点
2、角色分配
完全分布式Hadoop集群搭建需要在集群的每个节点都安装Hadoop,集群角色分配如下表所示。
节点 | 角色 |
master | NameNode, DataNode |
slave1 | DataNode |
slave2 | DataNode |
一、虚拟机安装
安装虚拟机CentOS 7
- 配置了静态IP地址(192.168.1.100)和主机名(ied)
- 关闭与禁用了防火墙
- 安装了vim编辑器
二、虚拟机克隆
1、克隆类型
(1)完整克隆
- 完整克隆是对原始虚拟机完全独立的一个拷贝,它不和原始虚拟机共享任何资源,可以脱离原始虚拟机独立使用。
(2)链接克隆
- 链接克隆需要和原始虚拟机共享同一虚拟磁盘文件,不能脱离原始虚拟机独立运行。但是采用共享磁盘文件可以极大缩短创建克隆虚拟机的时间,同时还节省物理磁盘空间。
2、克隆步骤
(1)克隆出master虚拟机
- 关闭CentOS 7虚拟机,在VMware工具左侧系统资源库中右键单击CentOS 7,选择“管理”列表下的“克隆”选项,弹出克隆虚拟机向导。
- 选择克隆源——虚拟机中的当前状态
- 选择克隆类型——创建链接克隆
- 设置新虚拟机名称和位置
- 单击【完成】按钮
- 单击【关闭】,查看master虚拟机
(2)克隆出slave1虚拟机
- 按照克隆master虚拟机的步骤克隆出slave1虚拟机
(3)克隆出slave2虚拟机
- 按照克隆master虚拟机的步骤克隆出slave2虚拟机
1、配置master虚拟机
- 启动master虚拟机
(1)设置主机名
- 执行命令:
hostnamectl set-hostname master
- 重启虚拟机,提示符变成
[root@master ~]#
(2)设置静态IP地址
- 查看IP地址可选范围
- 查看网关配置
- 执行命令:
vim /etc/sysconfig/network-scripts/ifcfg-ens33
- 存盘退出,执行命令:
systemctl restart network
- 执行命令:
ip addr
,查看设置的静态IP地址
(3)配置主机名与IP地址映射
- 执行命令:
vim /etc/hosts
,添加三个映射(集群有三个虚拟机) - 存盘退出,验证配置效果
2、配置slave1虚拟机
- 启动slave1虚拟机
(1)设置主机名
- 执行命令:
hostnamectl set-hostname slave1
- 重启虚拟机,提示符变成
[root@slave1~]#
(2)设置静态IP地址
- 执行命令:
vim /etc/sysconfig/network-scripts/ifcfg-ens33
- 存盘退出,执行命令:systemctl restart network
- 执行命令:ip addr,查看设置的静态IP地址
(3)配置主机名与IP地址映射
- 执行命令:
vim /etc/hosts
,添加三个映射(集群有三个虚拟机) 存盘退出,验证配置效果
- slave1虚拟机可以通过主机名来ping通master虚拟机和slave1虚拟机
- master虚拟机可以通过主机名来ping通slave1虚拟机
3、配置slave2虚拟机
- 启动slave2虚拟机
操作与slave1相同
- slave2虚拟机可以通过主机名来ping通master虚拟机、slave1虚拟机和slave2虚拟机
- master虚拟机可以通过主机名来ping通slave1虚拟机和slave2虚拟机
- 安全增强型 Linux(Security-Enhanced Linux)简称 SELinux,它是一个 Linux 内核模块,也是 Linux 的一个安全子系统。
- SELinux 主要作用就是最大限度地减小系统中服务进程可访问的资源(最小权限原则)。
- SELinux 有三种工作模式,分别是enforcing:强制模式;permissive:宽容模式;disabled:关闭 SELinux。
/etc/sysconfig/selinux
文件里SELINUX=enforcing
,将enforcing
改成disabled
,就可以关闭SeLinux安全机制
1、在master虚拟机上关闭SeLinux安全机制
- 执行命令:
vim /etc/sysconfig/selinux
2、在slave1虚拟机上关闭SeLinux安全机制
- 执行命令:
vim /etc/sysconfig/selinux
3、在slave2虚拟机上关闭SeLinux安全机制
- 执行命令:vim /etc/sysconfig/selinux