版权归属:Leokadia Rothschild
Hadoop入门(一)——CentOS7下载+VM上安装(手动分区)图文步骤详解(2021)
写在前面的话,博主刚入大数据的坑,开始在配置环境上走过无数的坑,有些博文上的步骤方法要么就是版本太旧了,要么没有说清楚原理,要么就是可能会行不通,或着自动配置的,不过博主查过许多资料,自定义+手动分区相对来说是更好的,这篇博文让你0基础配置大数据环境!
这个系列文章传送门:
Hadoop入门(一)——CentOS7下载+VM上安装(手动分区)图文步骤详解(2021)Hadoop入门(二)——VMware虚拟网络设置+Windows10的IP地址配置+CentOS静态IP设置(图文详解步骤2021)Hadoop入门(三)——XSHELL7远程访问工具+XFTP7文件传输(图文步骤详解2021)Hadoop入门(四)——模板虚拟机环境准备(图文步骤详解2021)Hadoop入门(五)——Hadoop集群搭建-克隆三台虚拟机(图文步骤详解2021)Hadoop入门(六)——JDK安装(图文步骤详解2021)Hadoop入门(七)——Hadoop安装(图文详解步骤2021)Hadoop入门(八)——本地运行模式+完全分布模式案例详解,实现WordCount和集群分发脚本xsync快速配置环境变量 (图文详解步骤2021)Hadoop入门(九)——SSH免密登录 配置Hadoop入门(十)——集群配置(图文详解步骤2021)Hadoop入门(十一)——集群崩溃的处理方法(图文详解步骤2021)Hadoop入门(十二)——配置历史服务器及日志的聚集(图文详解步骤2021)Hadoop入门(十三)——集群常用知识(面试题)与技巧总结Hadoop入门(十四)——集群时间同步(图文详解步骤2021)Hadoop入门(十五)——集群常见错误及解决方案
文章目录
- Hadoop入门(一)——CentOS7下载+VM上安装(手动分区)图文步骤详解(2021)
- CentOS7下载
- 官网下载
- 国内镜像下载
- VM上手动安装CentOS7
- 创建虚拟机
- 分区方案描述
- 必须的分区
- boot分区:
- /分区(根分区):
- swap分区:
- 可选的分区
- home分区
- var分区
CentOS7下载
官网下载
1.进入CentOs官网:官网网址 2.往下拉进入Older Version
3. 往下拉找到Base Distribution,选择自己的版本,点击Tree
4.选择CentOs的ISO镜像文件(isos目录)
5. 选择对应电脑的版本进行下载
6. 选择你需要的,一般下载DVD标准安装版就行
各个版本的ISO镜像文件说明:
- CentOS-7-x86_64-DVD-1810.iso 标准安装版(推荐)
- CentOS-7-x86_64-Everything-1810.iso 完整版,集成所有软件(以用来补充系统的软件或者填充本地镜像)
- CentOS-7-x86_64-LiveGNOME-1810.iso GNOME桌面版
- CentOS-7-x86_64-LiveKDE-1810.iso KDE桌面版
- CentOS-7-x86_64-Minimal-1810.iso 精简版,自带的软件最少
- CentOS-7-x86_64-NetInstall-1810.iso 网络安装版(从网络安装或者救援系统)
在官网下载的时候是非常慢的,我们可以使用国内镜像下载。
国内镜像下载
国内阿里云镜像下载:https://mirrors.aliyun.com/centos/7/isos/x86_64/ 进入阿里云站点,选择 CentOS-7-x86_64-DVD-1810.iso下载
VM上手动安装CentOS7
创建虚拟机
1、打开VMware Workstation Pro 15.5,点击“创建新的虚拟机”
2、选择“自定义(高级)”,下一步
3、此步用默认选项即可
4、点击“稍后安装操作系统”,下一步
4、选择要安装的虚拟机操作系统。这里我安装的是Linux的CentOS 7 64位系统,按照实际情况选择即可,下一步
可能出现的问题
在桌面虚拟机软件VMVare Workstation中创建新的虚拟机,选择客户机操作系统时,出现“此主机不支持64位客户机操作系统,此系统无法运行”的警告。
如果无视这个问题,直接点击“下一步”,倒也可以完成环境的配置,但是后面想要开启此虚拟机并正式安装红帽系统时,会出现“ VMware Workstation 与 Hyper-V不兼容 ”的提示,需要移除Hyper-V然后再运行VMWare安装CentOS。
这两个问题出现的根本原因都是Hyper-V和VMware冲突了,因此解决这个问题就需要关闭Hyper-V。
解决方法——通过命令行
以管理员身份运行命令提示符(cmd),然后执行命令
bcdedit /set hypervisorlaunchtype off
,执行完后重启计算机即可解决。
6、配置CPU个数。根据电脑性能,配置给虚拟机的处理器(CPU)。
简单来说就是两两相乘,核总数不能超过本机的
处理器数量(P):
1、启用了超线程或具有双核CPU的单处理器主机可视为拥有两个逻辑处理器。
2、只有拥有至少两个逻辑处理器的主机才支持指定多个虚拟处理器。
3、具有两个CPU的多处理器主机无论是否为双核处理器或是否启用了超线程,均视为拥有至少两个逻辑处理器。
4、物理CPU个数×每颗核数就等于逻辑CPU的个数。每个处理器的核心数量(C):
1、多内核(multicore chips)是指在一个处理器(CPU)中集成两个或多个完整的计算引擎(内核)。
2、一个CPU中可以包括多个核,相当于逻辑上的多个CPU在工作。每个人电脑配置不一样,最后设置的数量只要没有超出电脑配置即可。博主的电脑配置如下:
如果还想搞的更清楚可以参考博客:
这里的内存也是根据本机来的,不用给很大,够用就行,我这里给2048MB
以上都选默认的就行了磁盘大小根据建议值来就行,系统安装之后也就占5、6个G的样子
这里默认的就好了,直接下一步
点击完成
引导设置成功后先进入Centos的主引导界面
菜单有三个选项
1、安装CentOS
2、试用CentOS
3、故障排除
这里进入第一项- 安装Centos【上下键选中并回车】
第二个界面是选择安装语言界面,我相信看这个教程的很多童鞋都是新手或者第一次安装Centos的同胞,对于新手而言,最好选择可以看懂的中文语言,往下拉到底就可以看到中文了,选中它。单机Continue/继续 【或者键盘的Tab键选中+回车确定】
第三个界面非常关键,这涉及到你系统的基本配置,比如硬盘大小、根分区以及swap分区
本地化:本地化这一块不需要做过多的配置,按需即可;
软件:软件下面的安装源和软件选中,只有特殊需求的童鞋才会用到。这一点从里面的选项描述就可以知道,为了不错误引导新手,这里就不放图了。
系统:我们来重点说一下系统先说KDUMP
对于新手来说,这个在新手阶段无使用价值,配置启用或者不启用都无关紧要
安装位置
由于安装位置涉及到你自己的磁盘数据以及分区内容,如果原分区包含有数据、有必要先备份数据
点击 添加磁盘
按钮可以添加指定的附加设备或者网络设备(通过ISCSI、FCoE等方式添加硬盘)
然后下面其他存储选项中有
Automatically configure partitioning
自动配置分区
I will configure partitioning
手动配置分区
I would like to make additional space available
我想要额外空间可用
自动分区方案可能不符合实际使用情况,通常所以我们采用手动分区,选中手动配置分区
,然后单击左上角完成
就会弹出手动分区的配置界面。
如果这是一个空白的硬盘,这时我们可以点击 Click here to create them automatically 点击这里自动创建他们
,然后根据实际情况稍作调整。
如果这块硬盘已经安装了操作系统,选中该操作系统的一个分区,点击 - ,勾选删除所有文件系统。
此处设置自动创建分区的类型:Standard partition(标准分区)、Btrfs(一种已经废弃的文件系统)、LVM、LVM Thin Provisioning (自动精简LVM)
分区方案选择LVM即可
Tips:标准分区,分区是固定大小
LVM:普通的磁盘分区管理方式在逻辑分区划分好之后就无法改变其大小,当一个逻辑分区存放不下某个文件时,这个文件因为受上层文件系统的限制,也不能跨越多个分区来存放,所以也不能同时放到别的磁盘上。而遇到出现某个分区空间耗尽时,解决的方法通常是使用符号链接,或者使用调整分区大小的工具,但这只是暂时解决办法,没有从根本上解决问题。随着Linux的逻辑卷管理(LVM)功能的出现,这些问题都迎刃而解,用户在无需停机的情况下可以方便地调整各个分区大小,当然也可以使用LVM Thin Provisioning。某些分区固定只能是标准分区,即使选择LVM也会自动设置为标准分区。
创建一个手动分区,以下是我虚拟机的手动分区方案
可以使用下方+、- 符号增加或者删除分区。
如果你是新手记住:除了SWAP分区外,其他分区的文件系统一律选择ext4类型,设备类型默认选LVM
分区方案描述
必须的分区
boot分区:
- 作用:引导分区,包含了系统启动的必要内核文件,即使根分区顺坏也能正常引导启动 一般这些文件所占空间在200M以下,
- 分区建议:分区的时候可选100M-500M之间,如果空间足够用,建议分300-500M。避免由于长期使用的冗余文件塞满这个分区。
- 分区格式:建议ext4,按需求更改
/分区(根分区):
- 作用:所有的文件都从这里开始,你可以比喻为Windows的C盘,但其实有区别。如果你有大量的数据在根目录下(比如FTP等)可以划分大一点的空间
- 分区建议:建议15G以上。看需求,根分区和home分区的大小就类似C盘和D盘的空间分布一样,主要占空间在哪儿就在那里分大容量
- 分区格式:建议ext4,按需求更改
swap分区:
- 作用:类似于Windows的虚拟内存,在内存不够用时占用硬盘的虚拟内存来进行临时数据的存放,而对于linux就是swap分区
- 分区建议:建议是物理内存大小的2倍,比如你电脑是4G的物理内存,swap分区可以是8G
- 分区格式:swap格式
可选的分区
home分区
- 作用:存放用户数据,HOME的结构一般是 HOME/userName/userFile,如果不分则默认在/目录下
- 分区建议:如果用户数据多可以将此分区适当增大,请参考“根分区”分区建议;一般硬盘的主要容量几乎都在Home分区和根分区下
- 分区格式:建议ext4,按需求更改
var分区
- 作用:用于log日志的文件的存放,如果不分则默认在/目录下
- 分区建议:如果你安装的linux是用于服务器或者经常做日志分析,请划分var分区,避免日志文件不断膨胀塞满导致根分区而引发问题。
- 分区格式:建议ext4,按需求更改
在安装过程中,可以同时配置ROOT用户的密码和创建新用户,可以点击相应选项进行设置。
于是就可以等待系统安装完成了!!!
重启完成安装
本片讲述了
CentOS7下载+VM上安装(手动分区)图文步骤详解(2021) 我们下一篇进行
VMware虚拟网络设置+Windows10的IP地址配置+CentOS静态IP设置
Hadoop入门(一)——CentOS7下载+VM上安装(手动分区)图文步骤详解(2021)
写在前面的话,博主刚入大数据的坑,开始在配置环境上走过无数的坑,有些博文上的步骤方法要么就是版本太旧了,要么没有说清楚原理,要么就是可能会行不通,或着自动配置的,不过博主查过许多资料,自定义+手动分区相对来说是更好的,这篇博文让你0基础配置大数据环境!
这个系列文章传送门:
Hadoop入门(一)——CentOS7下载+VM上安装(手动分区)图文步骤详解(2021)Hadoop入门(二)——VMware虚拟网络设置+Windows10的IP地址配置+CentOS静态IP设置(图文详解步骤2021)Hadoop入门(三)——XSHELL7远程访问工具+XFTP7文件传输(图文步骤详解2021)Hadoop入门(四)——模板虚拟机环境准备(图文步骤详解2021)Hadoop入门(五)——Hadoop集群搭建-克隆三台虚拟机(图文步骤详解2021)Hadoop入门(六)——JDK安装(图文步骤详解2021)Hadoop入门(七)——Hadoop安装(图文详解步骤2021)Hadoop入门(八)——本地运行模式+完全分布模式案例详解,实现WordCount和集群分发脚本xsync快速配置环境变量 (图文详解步骤2021)Hadoop入门(九)——SSH免密登录 配置Hadoop入门(十)——集群配置(图文详解步骤2021)Hadoop入门(十一)——集群崩溃的处理方法(图文详解步骤2021)Hadoop入门(十二)——配置历史服务器及日志的聚集(图文详解步骤2021)Hadoop入门(十三)——集群常用知识(面试题)与技巧总结Hadoop入门(十四)——集群时间同步(图文详解步骤2021)Hadoop入门(十五)——集群常见错误及解决方案
文章目录
- Hadoop入门(一)——CentOS7下载+VM上安装(手动分区)图文步骤详解(2021)
- CentOS7下载
- 官网下载
- 国内镜像下载
- VM上手动安装CentOS7
- 创建虚拟机
- 分区方案描述
- 必须的分区
- boot分区:
- /分区(根分区):
- swap分区:
- 可选的分区
- home分区
- var分区
CentOS7下载
官网下载
1.进入CentOs官网:官网网址 2.往下拉进入Older Version
3. 往下拉找到Base Distribution,选择自己的版本,点击Tree
4.选择CentOs的ISO镜像文件(isos目录)
5. 选择对应电脑的版本进行下载
6. 选择你需要的,一般下载DVD标准安装版就行
各个版本的ISO镜像文件说明:
- CentOS-7-x86_64-DVD-1810.iso 标准安装版(推荐)
- CentOS-7-x86_64-Everything-1810.iso 完整版,集成所有软件(以用来补充系统的软件或者填充本地镜像)
- CentOS-7-x86_64-LiveGNOME-1810.iso GNOME桌面版
- CentOS-7-x86_64-LiveKDE-1810.iso KDE桌面版
- CentOS-7-x86_64-Minimal-1810.iso 精简版,自带的软件最少
- CentOS-7-x86_64-NetInstall-1810.iso 网络安装版(从网络安装或者救援系统)
在官网下载的时候是非常慢的,我们可以使用国内镜像下载。
国内镜像下载
国内阿里云镜像下载:https://mirrors.aliyun.com/centos/7/isos/x86_64/ 进入阿里云站点,选择 CentOS-7-x86_64-DVD-1810.iso下载
VM上手动安装CentOS7
创建虚拟机
1、打开VMware Workstation Pro 15.5,点击“创建新的虚拟机”
2、选择“自定义(高级)”,下一步
3、此步用默认选项即可
4、点击“稍后安装操作系统”,下一步
4、选择要安装的虚拟机操作系统。这里我安装的是Linux的CentOS 7 64位系统,按照实际情况选择即可,下一步
可能出现的问题
在桌面虚拟机软件VMVare Workstation中创建新的虚拟机,选择客户机操作系统时,出现“此主机不支持64位客户机操作系统,此系统无法运行”的警告。
如果无视这个问题,直接点击“下一步”,倒也可以完成环境的配置,但是后面想要开启此虚拟机并正式安装红帽系统时,会出现“ VMware Workstation 与 Hyper-V不兼容 ”的提示,需要移除Hyper-V然后再运行VMWare安装CentOS。
这两个问题出现的根本原因都是Hyper-V和VMware冲突了,因此解决这个问题就需要关闭Hyper-V。
解决方法——通过命令行
以管理员身份运行命令提示符(cmd),然后执行命令
bcdedit /set hypervisorlaunchtype off
,执行完后重启计算机即可解决。
6、配置CPU个数。根据电脑性能,配置给虚拟机的处理器(CPU)。
简单来说就是两两相乘,核总数不能超过本机的
处理器数量(P):
1、启用了超线程或具有双核CPU的单处理器主机可视为拥有两个逻辑处理器。
2、只有拥有至少两个逻辑处理器的主机才支持指定多个虚拟处理器。
3、具有两个CPU的多处理器主机无论是否为双核处理器或是否启用了超线程,均视为拥有至少两个逻辑处理器。
4、物理CPU个数×每颗核数就等于逻辑CPU的个数。每个处理器的核心数量(C):
1、多内核(multicore chips)是指在一个处理器(CPU)中集成两个或多个完整的计算引擎(内核)。
2、一个CPU中可以包括多个核,相当于逻辑上的多个CPU在工作。每个人电脑配置不一样,最后设置的数量只要没有超出电脑配置即可。博主的电脑配置如下:
如果还想搞的更清楚可以参考博客:
这里的内存也是根据本机来的,不用给很大,够用就行,我这里给2048MB
以上都选默认的就行了磁盘大小根据建议值来就行,系统安装之后也就占5、6个G的样子
这里默认的就好了,直接下一步
点击完成
引导设置成功后先进入Centos的主引导界面
菜单有三个选项
1、安装CentOS
2、试用CentOS
3、故障排除
这里进入第一项- 安装Centos【上下键选中并回车】
第二个界面是选择安装语言界面,我相信看这个教程的很多童鞋都是新手或者第一次安装Centos的同胞,对于新手而言,最好选择可以看懂的中文语言,往下拉到底就可以看到中文了,选中它。单机Continue/继续 【或者键盘的Tab键选中+回车确定】
第三个界面非常关键,这涉及到你系统的基本配置,比如硬盘大小、根分区以及swap分区
本地化:本地化这一块不需要做过多的配置,按需即可;
软件:软件下面的安装源和软件选中,只有特殊需求的童鞋才会用到。这一点从里面的选项描述就可以知道,为了不错误引导新手,这里就不放图了。
系统:我们来重点说一下系统先说KDUMP
对于新手来说,这个在新手阶段无使用价值,配置启用或者不启用都无关紧要
安装位置
由于安装位置涉及到你自己的磁盘数据以及分区内容,如果原分区包含有数据、有必要先备份数据
点击 添加磁盘
按钮可以添加指定的附加设备或者网络设备(通过ISCSI、FCoE等方式添加硬盘)
然后下面其他存储选项中有
Automatically configure partitioning
自动配置分区
I will configure partitioning
手动配置分区
I would like to make additional space available
我想要额外空间可用
自动分区方案可能不符合实际使用情况,通常所以我们采用手动分区,选中手动配置分区
,然后单击左上角完成
就会弹出手动分区的配置界面。
如果这是一个空白的硬盘,这时我们可以点击 Click here to create them automatically 点击这里自动创建他们
,然后根据实际情况稍作调整。
如果这块硬盘已经安装了操作系统,选中该操作系统的一个分区,点击 - ,勾选删除所有文件系统。
此处设置自动创建分区的类型:Standard partition(标准分区)、Btrfs(一种已经废弃的文件系统)、LVM、LVM Thin Provisioning (自动精简LVM)
分区方案选择LVM即可
Tips:标准分区,分区是固定大小
LVM:普通的磁盘分区管理方式在逻辑分区划分好之后就无法改变其大小,当一个逻辑分区存放不下某个文件时,这个文件因为受上层文件系统的限制,也不能跨越多个分区来存放,所以也不能同时放到别的磁盘上。而遇到出现某个分区空间耗尽时,解决的方法通常是使用符号链接,或者使用调整分区大小的工具,但这只是暂时解决办法,没有从根本上解决问题。随着Linux的逻辑卷管理(LVM)功能的出现,这些问题都迎刃而解,用户在无需停机的情况下可以方便地调整各个分区大小,当然也可以使用LVM Thin Provisioning。某些分区固定只能是标准分区,即使选择LVM也会自动设置为标准分区。
创建一个手动分区,以下是我虚拟机的手动分区方案
可以使用下方+、- 符号增加或者删除分区。
如果你是新手记住:除了SWAP分区外,其他分区的文件系统一律选择ext4类型,设备类型默认选LVM
分区方案描述
必须的分区
boot分区:
- 作用:引导分区,包含了系统启动的必要内核文件,即使根分区顺坏也能正常引导启动 一般这些文件所占空间在200M以下,
- 分区建议:分区的时候可选100M-500M之间,如果空间足够用,建议分300-500M。避免由于长期使用的冗余文件塞满这个分区。
- 分区格式:建议ext4,按需求更改
/分区(根分区):
- 作用:所有的文件都从这里开始,你可以比喻为Windows的C盘,但其实有区别。如果你有大量的数据在根目录下(比如FTP等)可以划分大一点的空间
- 分区建议:建议15G以上。看需求,根分区和home分区的大小就类似C盘和D盘的空间分布一样,主要占空间在哪儿就在那里分大容量
- 分区格式:建议ext4,按需求更改
swap分区:
- 作用:类似于Windows的虚拟内存,在内存不够用时占用硬盘的虚拟内存来进行临时数据的存放,而对于linux就是swap分区
- 分区建议:建议是物理内存大小的2倍,比如你电脑是4G的物理内存,swap分区可以是8G
- 分区格式:swap格式
可选的分区
home分区
- 作用:存放用户数据,HOME的结构一般是 HOME/userName/userFile,如果不分则默认在/目录下
- 分区建议:如果用户数据多可以将此分区适当增大,请参考“根分区”分区建议;一般硬盘的主要容量几乎都在Home分区和根分区下
- 分区格式:建议ext4,按需求更改
var分区
- 作用:用于log日志的文件的存放,如果不分则默认在/目录下
- 分区建议:如果你安装的linux是用于服务器或者经常做日志分析,请划分var分区,避免日志文件不断膨胀塞满导致根分区而引发问题。
- 分区格式:建议ext4,按需求更改
在安装过程中,可以同时配置ROOT用户的密码和创建新用户,可以点击相应选项进行设置。
于是就可以等待系统安装完成了!!!
重启完成安装
本片讲述了
CentOS7下载+VM上安装(手动分区)图文步骤详解(2021) 我们下一篇进行
VMware虚拟网络设置+Windows10的IP地址配置+CentOS静态IP设置