一、虚拟机网络配置

1、查看ip地址

ifconfig

2、关闭系统防火墙命令

     systemctl stop firewalld.service

3、关闭系统防火墙自启动命令

systemctl disable firewalld.service

4、关闭“SELinux”服务命令

setenforce 0

5、关闭“SELinux”系统自启动服务

vi /etc/selinux/config

修改内容为:SELINUX=disabled   (按i键进入编辑状态,修改完后按esc键,输入”:wq”保存并退出)

hadoop关闭所有节点 linux关闭hadoop_jar

 6、进入ifcfg-目录

        vi /etc/sysconfig/network-scripts/ifcfg-eth0

注(这里可以在”ifcfg-“后面使用tab键查看目录)

修改以下几个值,没有的可以添加。

hadoop关闭所有节点 linux关闭hadoop_hadoop_02

hadoop关闭所有节点 linux关闭hadoop_IP_03

                Mac地址查看:

hadoop关闭所有节点 linux关闭hadoop_hadoop关闭所有节点_04

                 宿主机ip地址查看:

Win+R进入命令提示符,输入cmd回车,然后输入ipconfig回车

注意虚拟机主机地址需要和宿主机不一样:

hadoop关闭所有节点 linux关闭hadoop_IP_05

 7、编辑network文件

        vi  /etc/sysconfig/network

添加内容:

        NETWORKING=yes

        HOSTNAME=master (虚拟机名称)

hadoop关闭所有节点 linux关闭hadoop_hadoop_06

 8、编辑resolv.conf文件

        vi /etc/resolv.conf

输入文件内容:

        nameserver 192.168.43.1  (虚拟机网关)

        nameserver 8.8.8.8

        nameserver 8.8.8.4

hadoop关闭所有节点 linux关闭hadoop_hadoop_07

 9、编辑重启虚拟网卡

         service network restart

hadoop关闭所有节点 linux关闭hadoop_hadoop关闭所有节点_08

10、ping 网关        ping www.baidu.com

hadoop关闭所有节点 linux关闭hadoop_hadoop_09

 二、配置文件

1、安装xftp软件

   打开网址查看使用教程:

        https://jingyan.baidu.com/article/3a2f7c2e267e1a26aed61156.html

2、连接xftp后拖入文件到root目录下

3、解压jdk安装包到opt目录下并配置jdk环境

详情请参考教程:

        

三、hadoop集群搭建

1、请参考教程

        

2、配置完成后输入start-all.sh后启动hadoop集群,需要输入密码,会出现输入错误的情况,建议后续配置ssh免密密钥

3、用master主机克隆两台子机 【克隆出的子机一模一样】

4、克隆出的两台子机配置

(1)虚拟机子机改名

         hostnamectl set-hostname slave1

hadoop关闭所有节点 linux关闭hadoop_hadoop关闭所有节点_10

        hostnamectl set-hostname slave2

hadoop关闭所有节点 linux关闭hadoop_hadoop关闭所有节点_11

(2)输入

        vi /etc/sysconfig/network-scripts/ifcfg-eth0

注(这里可以在”ifcfg-“后面使用tab键查看目录)

此命令用于修改子机的IP地址和mac地址,因为克隆后的子机与主机所有的信息都是一样的,所以需要修改。修改以下两个内容:

hadoop关闭所有节点 linux关闭hadoop_jar_12

(3)修改master、slave1、slave2中hosts里的IP地址(三个虚拟机都要修改)

         vim /etc/hosts

hadoop关闭所有节点 linux关闭hadoop_IP_13

5、ssh公钥配置

在主机中输入以下命令:

(1)使用ssh生成公钥和私钥  【直接点三次回车即可】

        ssh-keygen -t rsa

(2)查看私钥和公钥

        cd /root/.ssh

        ls

(3)修改权限,并将公钥发送给slave1和slave2

        cat id_rsa.pub >> authorized_keys

        chmod 644 authorized_keys 【开通最高权限】

        systemctl restart sshd.service

        scp /root/.ssh/authorized_keys slave1:/root/.ssh    (输入yes)   【发送公钥】

(4)验证是否 连接成功

        ssh slave1 【进入slave1】

        Exit  【退出slave1,返回到master中,slaver2也是一样的操作进入及退出】

6、格式化HDFS

        hdfs namenode -format   【只用格式化一次,多次格式化会导致集群id值不匹配】

7、启动hadoop集群

        start-all.sh

 8、主机中输入jps显示4个文件

         jps

hadoop关闭所有节点 linux关闭hadoop_hadoop关闭所有节点_14

        两个子机中不用启动集群,直接进去输入jps显示出三个文件

hadoop关闭所有节点 linux关闭hadoop_hadoop_15

hadoop关闭所有节点 linux关闭hadoop_jar_16

9、输入命令验证hadoop的运算结果

        hadoop jar /opt/hadoop/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.5.jar pi 10 10

hadoop关闭所有节点 linux关闭hadoop_IP_17

    

       hadoop配置的最终结果

hadoop关闭所有节点 linux关闭hadoop_jar_18

        至此,虚拟机的基础配置完成!