一、背景

跑spark mllib中的算法模型可能个人电脑虚拟机带不动(其实还是赋闲在家没事找事做:)),家里正好有两台闲置PC,然后自己又组了台主机,利用家里的路由器,把三台pc刷好Linux后,组建个集群

注:此时还不能算是个集群,搭建hadoop集群应该在下一篇博客

二、准备

        1.三台主机

        2.制作centos7的U盘启动盘

        3.家用路由器和三根网线

三、安装

        由于安装阶段无法截图,这里只能记录一下遇到的坑。

        1.三台主机:

        笔者准备的配置是:两台主机 8G内存+500G机械硬盘,一台笔记本 4G+500G机械硬盘

        由于不打算再使用win,并且在安装阶段磁盘出现了问题,就使用diskgenius软件将三台PC的磁盘全部“清除分区”并“清除扇区数据”了。如果怕麻烦的朋友可以像笔者这样直接清空磁盘,如果有钻研精神的朋友可以再研究一下安装双系统。

        2.制作centos的U盘启动盘

        可以参照另一篇博客:

        这是笔者自己安装centos成功后写的制作启动盘方法

        3.安装centos

        重启pc后进入bios选择u盘安装

        按⬆️健选择install centos,因为默认是第二个

        a.选择安装语言

                安装centos一开始可以选择“中文”,不影响后续使用,只是安装阶段时是中文说明。

        b.设置时区和时间

                改成“亚洲”、“上海”时间根据自己当前时间修改。注:后续搭建集群可能要重新修改时间,因为如果两台机器时间相差太大,可能会通信失败

        c.选择“最小安装”

                因为后续打算远程连接,没有选择安装图形桌面

        d.设置机器各目录大小

                选择“标准”

                视个人磁盘大小决定,笔者设置如下:

2台机器的kafka集群稳定吗_大数据

        e.设置网络和hostname

                由于一开始没买到网线:),暂时没设置网络;

                底下有个框是设置hostname:根据习惯三台依次填入了:master、slave1,slave2

        f.设置root密码

                注意之前如果没设置网络和hostname 设置分区的时候可能是大写,所以密码中的英文可能是大写。

        到此单台linux安装全部设置完成,可以点击安装,等待片刻即可安装成功

        g.设置网络

                重启进入centos7后,插上网线,此时centos  ifconfig命令是用不起来的,并且网不能用,因为一开始没设置网络默认是关着的。

                cd /etc/sysconfig/network-scripts

                看一下网卡,一般是:

2台机器的kafka集群稳定吗_centos_02

                一般是ifcfg-enp开头。

                修改这个文件:

2台机器的kafka集群稳定吗_2台机器的kafka集群稳定吗_03

                保存退出后:service network restart 

                显示ok后,使用 ip addr 命令能看到自己网络信息

                接着使用yum install net-tools,安装完成后能使用ifconfig命令(个人习惯这个命令)

        h.设置静态IP

                还是修改那个文件,新增几行信息:

                设置静态ip时需先ping测试下当前设置的IP,是否无人占用

2台机器的kafka集群稳定吗_2台机器的kafka集群稳定吗_04

                修改完成后,使用service network restart 重启

                用其他机器ping 一下刚刚设置的ip能否ping通

        此时设置基本完成

        单台机器就可以远程连接了,后续两台也是这样搭建。

        搭建hadoop集群的条件基本具备。

(pc在客厅,可以在房间躺在床上自由的玩耍啦

2台机器的kafka集群稳定吗_重启_05