工欲善其事必先利其器,在经过大量的理论学习以后,需要有一个本地的研发环境来进行练手。已经工作的可以不依赖于公司的环境,在家也可以随意的练习。而自学大数据的同学,也可以进行本地练习,大数据是一门偏实践的学科,在找工作之前进行一些实践操作,也更利于对大数据知识的理解。 本文将从头开始详细的记录整个大数据环境的搭建过程,本文所使用的笔记本电脑内存为16G,将使用CDH6.3.2管理整个大数据集群。 由于cloudera官网从2021年2月1日起全面移除的非订阅用户的下载链接,所以本文所有的安装包都已经备份,可以关注 大数据流动 回复 CDH16G 获取。 本文共四个部分,一定要保证每一个部分都安装成功以后再向下进行。 首先要安装好VMwareWorkstation软件,随后新建三台centos系统的虚拟机,在三台虚拟机中搭建CDH大数据管理工具,最后使用CDH搭建大数据集群。 一、安装VMwareWorkstation虚拟化软件 首先我们使用VMwareWorkstation来快速的进行虚拟机的新建。VMwareWorkstation是一款功能强大的桌面虚拟计算机软件,我们使用的版本为VMwareWorkstation 16.1.2。 1、打开安装程序,点击下一步。

大数据开发流程和环境配置安装Hadoop和Ubuntu实验目的 大数据开发环境搭建_linux


2、选择接受条款,点击下一步。

大数据开发流程和环境配置安装Hadoop和Ubuntu实验目的 大数据开发环境搭建_linux_02


3、修改安装路径,增强型虚拟键盘主要作用是提高安全性,这里不勾选。点击下一步。

大数据开发流程和环境配置安装Hadoop和Ubuntu实验目的 大数据开发环境搭建_linux_03


4、将检查更新和体验提升都去掉,点击下一步。

大数据开发流程和环境配置安装Hadoop和Ubuntu实验目的 大数据开发环境搭建_数据集_04


5、快捷方式看自己的情况选择吧,点击下一步。

大数据开发流程和环境配置安装Hadoop和Ubuntu实验目的 大数据开发环境搭建_大数据_05


6、点击安装,开始进行虚拟机安装。

大数据开发流程和环境配置安装Hadoop和Ubuntu实验目的 大数据开发环境搭建_大数据_06


这样,第一部分VMwareWorkstation软件已经搭建完成。 二、新建三台Centos虚拟机 首先准备Centos7的镜像文件,CentOS-7-x86_64-DVD-1908.iso。 请注意三台虚拟机的CPU初次设置为1核,内存设置为4G(这样虚拟机占用12G,留出一些空间),硬盘为20G,这些以后也是可以修改的。