一、虚拟机网络配置
1、查看ip地址
ifconfig
2、关闭系统防火墙命令
systemctl stop firewalld.service
3、关闭系统防火墙自启动命令
systemctl disable firewalld.service
4、关闭“SELinux”服务命令
setenforce 0
5、关闭“SELinux”系统自启动服务
vi /etc/selinux/config
修改内容为:SELINUX=disabled (按i键进入编辑状态,修改完后按esc键,输入”:wq”保存并退出)
6、进入ifcfg-目录
vi /etc/sysconfig/network-scripts/ifcfg-eth0
注(这里可以在”ifcfg-“后面使用tab键查看目录)
修改以下几个值,没有的可以添加。
Mac地址查看:
宿主机ip地址查看:
Win+R进入命令提示符,输入cmd回车,然后输入ipconfig回车
注意虚拟机主机地址需要和宿主机不一样:
7、编辑network文件
vi /etc/sysconfig/network
添加内容:
NETWORKING=yes
HOSTNAME=master (虚拟机名称)
8、编辑resolv.conf文件
vi /etc/resolv.conf
输入文件内容:
nameserver 192.168.43.1 (虚拟机网关)
nameserver 8.8.8.8
nameserver 8.8.8.4
9、编辑重启虚拟网卡
service network restart
10、ping 网关 ping www.baidu.com
二、配置文件
1、安装xftp软件
打开网址查看使用教程:
https://jingyan.baidu.com/article/3a2f7c2e267e1a26aed61156.html
2、连接xftp后拖入文件到root目录下
3、解压jdk安装包到opt目录下并配置jdk环境
详情请参考教程:
三、hadoop集群搭建
1、请参考教程
2、配置完成后输入start-all.sh后启动hadoop集群,需要输入密码,会出现输入错误的情况,建议后续配置ssh免密密钥
3、用master主机克隆两台子机 【克隆出的子机一模一样】
4、克隆出的两台子机配置
(1)虚拟机子机改名
hostnamectl set-hostname slave1
hostnamectl set-hostname slave2
(2)输入
vi /etc/sysconfig/network-scripts/ifcfg-eth0
注(这里可以在”ifcfg-“后面使用tab键查看目录)
此命令用于修改子机的IP地址和mac地址,因为克隆后的子机与主机所有的信息都是一样的,所以需要修改。修改以下两个内容:
(3)修改master、slave1、slave2中hosts里的IP地址(三个虚拟机都要修改)
vim /etc/hosts
5、ssh公钥配置
在主机中输入以下命令:
(1)使用ssh生成公钥和私钥 【直接点三次回车即可】
ssh-keygen -t rsa
(2)查看私钥和公钥
cd /root/.ssh
ls
(3)修改权限,并将公钥发送给slave1和slave2
cat id_rsa.pub >> authorized_keys
chmod 644 authorized_keys 【开通最高权限】
systemctl restart sshd.service
scp /root/.ssh/authorized_keys slave1:/root/.ssh (输入yes) 【发送公钥】
(4)验证是否 连接成功
ssh slave1 【进入slave1】
Exit 【退出slave1,返回到master中,slaver2也是一样的操作进入及退出】
6、格式化HDFS
hdfs namenode -format 【只用格式化一次,多次格式化会导致集群id值不匹配】
7、启动hadoop集群
start-all.sh
8、主机中输入jps显示4个文件
jps
两个子机中不用启动集群,直接进去输入jps显示出三个文件
9、输入命令验证hadoop的运算结果
hadoop jar /opt/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar pi 10 10
hadoop配置的最终结果
至此,虚拟机的基础配置完成!