家里闲置HP4CORE4GB笔记本一台,还是SSD内存,可不想浪费。所以计划用来做一套Hadoop实验环境。

准备好的软件包括:

CentOS 7 .7  (CentOS-7-x86_64-DVD-1908)

Hadoop 2.9.2  

HIVE 2.3.6 

SQOOP 1.4.7

JDK 8 (jdk-8u241-linux-x64)

主要目标为:

1. 重装笔记本电脑的操作系统到CentOS,并完成基础环境配置。

2. Hadoop环境搭建和启动,能够使用HIVE和SQOOP工具进行数据抽取和数据操作。

操作日志:(这里主要记录过程和碰到的坑,另外准备整理文章来记录详细操作和关键命令)

1.准备:

笔记本电脑原操作系统为Windows7,重装系统前,要做好资料备份,下载各种安装介质,最重要的是制作安装启动盘。使用UltraIOS制作优盘启动盘,8GB以上的优盘肯定够用,CentOS7.7安装介质镜像大约是4.4GB,这一步都还比较顺利。

2. 安装

配置BIOS启动顺序,使用优盘启动进入安装界面后,坑来了。选择安装方式,包括很多种类,最开始选择的最小化安装,但碰到最大的问题是,安装后,无线网卡无法使用。然后选择不带GUI的服务器模式,问题依旧。尝试自行配置无线网卡来解决,无奈失败。最后选择带GUI的服务器模式,终于能够连上wifi了。所以,强烈建议是:在笔记本电脑上安装CentOS时,一定要选择使用图形界面,不然缺少很多必要的驱动程序

图形界面比较占用内存,所以安装成功后,还需要修改系统默认启动方式为命令行界面,这样以后打开电源键,之后就可以不管了。需要使用时,直接通过其他机器通过ssh方式连接控制即可。

至此,CentOS安装配置完毕。

3. Hadoop安装

这类安装的文章一搜一大把,照着资料做即可,到没有什么困难。但关于硬件资源要提一提,之前本来想把Hadoop环境搭建到自己的阿里云服务器上。但自己的服务器配置只有1CORE1GB,安装到没问题,但只要一启动,即使调整配置的启动资源,仍然会把云服务器撑死机。原因是最便宜的阿里云机器,只可以使用20%一下的CPU资源,一旦长时间超过20%,就会变得很卡顿。所以要么购买更高配置的云服务器,要么就只能使用自己的机器。

另外要提一点,默认的CentOS7,使用的是firewall而非iptables,所以启动服务器后,配置防火墙的方式和网上很多文章不同,也花了不少时间才发现和解决。