博主上篇的文章讲的是伪分布式部署，那么接下来进行分布时的教学，先从搭建集群开始，为分布式开发环境做准备。



目录

1. 克隆虚拟机

在这里我们直接克隆​​[Centos版]Hadoop运行环境的具体搭建过程(超详细)​​

​这篇文章中的快照​

​快照很有必要，如果不知道怎样打快照的同学在虚拟机关机后，右键虚拟机->快照->快照管理器​

在Linux中部署集群(零基础速学！)_大数据


  • 1. 选择要克隆的快照
    在Linux中部署集群(零基础速学！)_vim_02
  • 2. 选择完整克隆
    在Linux中部署集群(零基础速学！)_分布式_03
  • 3. 克隆后
    在Linux中部署集群(零基础速学！)_hadoop_04

2. 更改系统的mac地址

​为什么要改mac地址呢？​

因为每个机器的mac地址都是独一无二的，但是克隆的机器会有两个，需要删除掉原有的mac地址

[root@hadoop001 ~]# vim /etc/udev/rules.d/70-persistent-net.rules

在Linux中部署集群(零基础速学！)_linux_05

在Linux中部署集群(零基础速学！)_分布式_06

3. 更改网卡信息

[root@hadoop001 ~]# vim /etc/sysconfig/network-scripts/ifcfg-eth0 

#  我自己的网卡信息
DEVICE=eth0
TYPE=Ethernet
ONBOOT=yes
BOOTPROTO=static
NAME="eth0"
IPADDR=192.168.2.112
PREFIX=24
GATEWAY=192.168.2.2
DNS1=192.168.2.2

在Linux中部署集群(零基础速学！)_大数据_07

怎样判断自己修改是否成功：​​ifconfig​​

在Linux中部署集群(零基础速学！)_分布式_08

4. 更改主机名

[root@hadoop001 ~]# vim /etc/sysconfig/network

在Linux中部署集群(零基础速学！)_linux_09

5. 添加别名

[root@hadoop001 ~]# vim /etc/hosts

# 下面为博主本人设的别名，别名设置尽量相似，这样后面会很方便
192.168.2.112   hadoop002
192.168.2.113   hadoop003
192.168.2.114   hadoop004

在Linux中部署集群(零基础速学！)_大数据_10

6. 关闭防火墙


内网环境安全性比较高，开启防火墙会影响效率，所以需要关闭防火墙


#  查看防火墙的状态
service iptables status

#  启动防火墙的服务
service iptables start

#  关闭防火墙服务
service iptables stop

#  彻底关闭防火墙
chkconfig iptables off

7. 关闭selinux

[root@hadoop001 桌面]# vim /etc/selinux/config

在Linux中部署集群(零基础速学！)_分布式_11

  • 下面需要重启，才能使以上的所有修改生效

8. SCP远程文件拷贝


​scp（secure copy）安全拷贝 scp定义：scp可以实现服务器与服务器之间的数据拷贝。（from server1 to server2）


基本语法：
scp    -r          $pdir/$fname              $user@hadoop$host:$pdir/$fname
命令   递归         要拷贝的文件路径/名称       目的用户@主机:目的路径/名称

# 拷贝文件
# 将hadoop101中/etc/profile文件拷贝到hadoop002的/etc/profile上。
[bigdata@hadoop001 ~]$ sudo scp /etc/profile root@hadoop002:/etc/profile


# 拷贝文件夹
# 在hadoop101上，将hadoop101中/opt/module目录下的软件拷贝到hadoop002上。
[bigdata@hadoop001 /]$ scp -r /opt/module  root@hadoop002:/opt/module

注意：拷贝过来的/opt/module目录，别忘了在hadoop002、hadoop003、hadoop004上修改所有文件的，所有者和所有者组。sudo chown bigdata:bigdata -R /opt/module

9. SSH 远程登录

1. 基于密码的登录

命令

含义

ssh ip地址

远程登录到指定服务器

在Linux中部署集群(零基础速学！)_vim_12

​首次远程登录会询问yes/on ，以后就不会出现了​

2. 无密钥配置(免密登录)


  • 1. ​​ssh-keygen -t rsa​​+ 三个回车 在hadoop002，hadoop003，hadoop004上面分别执行命令，产生公钥和私钥
  • 2. ​​ssh-copy-id hadoop002​​将公钥拷贝到hadoop002上面去，以此类推，全部拷贝完毕

​配置完成后，就可以免密登录了​

在Linux中部署集群(零基础速学！)_分布式_13

​注意：​

① 第一次拷贝的时候需要输入密码，另外在拷贝除了自身虚拟机公钥的时候，需要在root账号下进行

在Linux中部署集群(零基础速学！)_linux_14

②想要查看当前虚拟机能够被哪些虚拟机免密登录，可以​​vim /root/.ssh/authorized_keys​​

在Linux中部署集群(零基础速学！)_hadoop_15

10. 总结

搭建集群的过程很繁琐，并且稍有不慎就不会出错，所以各位小伙伴们需要多多练习，熟能生巧。


各位路过的朋友，如果觉得可以学到些什么的话，点个赞再走吧，欢迎各位路过的大佬评论，指正错误，也欢迎有问题的小伙伴评论留言，私信。每个小伙伴的关注都是本人更新博客的动力！！！