一、背景
跑spark mllib中的算法模型可能个人电脑虚拟机带不动(其实还是赋闲在家没事找事做:)),家里正好有两台闲置PC,然后自己又组了台主机,利用家里的路由器,把三台pc刷好Linux后,组建个集群
注:此时还不能算是个集群,搭建hadoop集群应该在下一篇博客
二、准备
1.三台主机
2.制作centos7的U盘启动盘
3.家用路由器和三根网线
三、安装
由于安装阶段无法截图,这里只能记录一下遇到的坑。
1.三台主机:
笔者准备的配置是:两台主机 8G内存+500G机械硬盘,一台笔记本 4G+500G机械硬盘
由于不打算再使用win,并且在安装阶段磁盘出现了问题,就使用diskgenius软件将三台PC的磁盘全部“清除分区”并“清除扇区数据”了。如果怕麻烦的朋友可以像笔者这样直接清空磁盘,如果有钻研精神的朋友可以再研究一下安装双系统。
2.制作centos的U盘启动盘
可以参照另一篇博客:
这是笔者自己安装centos成功后写的制作启动盘方法
3.安装centos
重启pc后进入bios选择u盘安装
按⬆️健选择install centos,因为默认是第二个
a.选择安装语言
安装centos一开始可以选择“中文”,不影响后续使用,只是安装阶段时是中文说明。
b.设置时区和时间
改成“亚洲”、“上海”时间根据自己当前时间修改。注:后续搭建集群可能要重新修改时间,因为如果两台机器时间相差太大,可能会通信失败
c.选择“最小安装”
因为后续打算远程连接,没有选择安装图形桌面
d.设置机器各目录大小
选择“标准”
视个人磁盘大小决定,笔者设置如下:
e.设置网络和hostname
由于一开始没买到网线:),暂时没设置网络;
底下有个框是设置hostname:根据习惯三台依次填入了:master、slave1,slave2
f.设置root密码
注意之前如果没设置网络和hostname 设置分区的时候可能是大写,所以密码中的英文可能是大写。
到此单台linux安装全部设置完成,可以点击安装,等待片刻即可安装成功
g.设置网络
重启进入centos7后,插上网线,此时centos ifconfig命令是用不起来的,并且网不能用,因为一开始没设置网络默认是关着的。
cd /etc/sysconfig/network-scripts
看一下网卡,一般是:
一般是ifcfg-enp开头。
修改这个文件:
保存退出后:service network restart
显示ok后,使用 ip addr 命令能看到自己网络信息
接着使用yum install net-tools,安装完成后能使用ifconfig命令(个人习惯这个命令)
h.设置静态IP
还是修改那个文件,新增几行信息:
设置静态ip时需先ping测试下当前设置的IP,是否无人占用
修改完成后,使用service network restart 重启
用其他机器ping 一下刚刚设置的ip能否ping通
此时设置基本完成
单台机器就可以远程连接了,后续两台也是这样搭建。
搭建hadoop集群的条件基本具备。
(pc在客厅,可以在房间躺在床上自由的玩耍啦