三、快照
二、主机名,IP,ssh免密登录
1.修改主机名
2.设置IP(各节点的IP从主节点依次排序,node1为30,node2则为31,以此类推)
3.主机映射
4.ssh免密登录
三、JDK安装部署(三台虚拟机都要安装)
四.关闭防火墙和SElinux
五、修改时区并配置自动时间同步
Hadoop的前置环境基本配置完成,建议快照保存
六、Hadoop安装与部署
一、Hadoop安装包下载
二、Hadoop安装以及配置
一、集群环境准备
一、虚拟机安装
1.选择典型或者自定义,一般选择典型即可,如果需要进行更多的详细配置可以选择自定义。
2.选择想要安装的虚拟机映像位置
3.设置用户名以及密码
4.设置虚拟机名称以及存储位置
5.设置磁盘存储方式以及磁盘大小
6.完成配置点击完成,也可以点击自定义硬件进行详细配置
注意:对于主节点,由于软件运行较多,所以主节点的内存一般会比其他节点内存大。
二、克隆
在首台虚拟机创建完成后,可以通过克隆的方式快速创建其他虚拟机。
1.右键虚拟机名称,点击管理,选择克隆选项
2.点击克隆后,点击下一页
3.选择克隆对象,一共有两种方式,第一种是直接克隆虚拟机的当前状态,第二种是选取虚拟机的快照,克隆指定快照的虚拟机状态。
4.选择克隆类型,一般为完整克隆
5.设置克隆虚拟机的名称以及存放位置
6.设置完成后点击完成,克隆结束。
三、快照
快照,是对虚拟机的当前状态进行保存,在虚拟机出现问题无法解决,可以通过返回快照,使虚拟机返回到快照拍摄状态。可以在执行易出错操作前对虚拟机进行快照拍摄,建议快照拍摄时,虚拟机处于关机状态,否则拍摄时间可能较长。
1.右键虚拟机,选择快照
2.快照命名以及描述
3.点击拍摄快照即可完成拍摄。
二、主机名,IP,ssh免密登录
注意如果虚拟机有其他用途,通常为了安全会为大数据专门设置一个Hadoop用户然后配置免密登录
在root用户下执行下列操作
添加用户:useradd hadoop
设置密码:passwd hadoop
1.修改主机名
命令:hostnamectl set-hostname [名称],将主机名分别改为node1,node2,node3,也可以自行设置名称。
2.设置IP(各节点的IP从主节点依次排序,node1为30,node2则为31,以此类推)
sudo vim /etc/sysconfig/network-scripts/ifcfg-ens33
进入到网络配置文件中。将文件BOOTPROTO改为static,添加IPADDR(处于子网IP范围之间),GATEWAY(与子网IP一致),NETMASK(子网掩码)和DNS1。 配置完成后需要重启网卡(systemctl restart network)。
网络配置完成后,ping一下www.baidu.com,如果结果为如下结果,则表示网络配置成功。
3.主机映射
本地Windows的hosts文件修改 文件存放路径:C:\Windows\System32\drivers\etc
如果无法修改请看另外一篇文章Hadoop集群安装常见问题以及解决方法_菜鸟工程师10086的博客-CSDN博客
修改每台节点的hosts文件
命令为sudo vim /etc/hosts ,依次添加node1,node2,node3
4.ssh免密登录
1.命令:ssh-keygen -t rsa -b 4096 然后一路回车到底
在三台虚拟机依次执行
2.依次执行 ssh-copy-id node1 、ssh-copy-id node2 、ssh-copy-id node3。执行每一个命令后需要输入yes和id对应虚拟机的密码。
三、JDK安装部署(三台虚拟机都要安装)
JDK安装包链接:https://pan.baidu.com/s/1QxVCRdLcVaqD0kNXCrD3lg
提取码:1111
也可自行下载
1.创建一个文件夹 命令: mkdir -p /export/servers
2.上传文件,进入刚刚创建的文件夹,输入rz,找到JDK存放路径,选择JDK
3.解压文件 命令: tar -zxvf jdk-8u361-linux-x64.tar.gz -C /export/servers
4.配置jdk软连接 命令:ln -s /export/servers/jdk1.8.0_361 /export/servers/jdk
5.配置JAVA_HOME环境变量
更改环境变量:sudo vim /etc/profile
#jdk环境变量
export JAVA_HOME=/export/servers/jdk
export PATH=JAVA_HOME/bin
6.生效环境变量,删除原有jdk,构建新的jdk软连接
生效环境变量: source /etc/profile
删除原因jdk: rm -f /usr/bin/java
构建软连接: ln -s /export/servers/jdk/bin/java /usr/bin/java
验证jdk:java -version
javac -version
四.关闭防火墙和SElinux
1.关闭防火墙
systemctl stop firewalld
systemctl disable firewalld
2.关闭selinux
selinux,是用以限制用户和程序的相关权限,来确保系统的安全稳定。
命令:sudo vim /etc/sysconfig/selinux
将SELINUX=enforcing修改为SELINUX=disabled
五、修改时区并配置自动时间同步