本文章致力于解释Hadoop安装的细节,对每个有困惑的地方进行一个解释。


温馨提示:看文章之前准备一杯水!类容很干!!!(看完,妈妈再也不用担心 我安装Hadoop有困惑了。)


这里写目录标题

  • 本文章致力于解释Hadoop安装的细节,对每个有困惑的地方进行一个解释。
  • 温馨提示:看文章之前准备一杯水!类容很干!!!(看完,妈妈再也不用担心 我安装Hadoop有困惑了。)
  • 1.cpu核数
  • 2.内存
  • 3.指定磁盘容量---50G
  • 4.手动分区
  • 5 VMnet子网 ip设置
  • 6 VMnet8 讲解
  • 7 修改hosts文件


和hadoop安装的爱恨情仇,
                                各位看官,正片开始。

1.cpu核数

@1 查看物理机CPU个数(Windows10为例)

@1.1 窗口搜索 搜索 “任务管理器”

Hadoop IO调优 hadoop cpu_分布式


@1.2 性能–>打开资源管理器–>cpu (末尾“cpu序号+1”=cpu核数,因为

cpu序号从0开始)

Hadoop IO调优 hadoop cpu_Hadoop IO调优_02

@2. 那么由计算可得小编的cpu核数为 12 ==>因为11+1=12嘛(相信大家

都会做20以内的加减法)

@2.1 “处理器数量” 和 “每个处理器的内核数” 这两的乘积,也就是“虚拟机

处理器内核总数” 不要超过电脑的"cpu总和数"

Hadoop IO调优 hadoop cpu_大数据_03


@2.3 但是我们未来要开3台虚拟机 以以下为例:

hadoop102

hadoop103

hadoop104

@2.4 但是不要忘了我们的Windows也需要用到cpu,那么以12个cpu为例,

平均分的话:一个配3个核数。

@2.5 小编的真实情况是:没有理会windows,内存配的是: 6,3,3

到目前做了一个项目,也没有发现什么问题,这个还得是看各位看官自由

搭配了,但是所有的相加不要超过 电脑cpu核数即可

2.内存

@1 欧克,大家已经过了cpu核数的艰难配置,内存对大家来说:简直就

是 so easy,哪里不会看哪里。(脑海莫名的有种声音!尘封的广告!!再

次被唤醒!!!)

@2 对于学大数据的来说,电脑内存至少16个G.

@3 以小编的经验为例:以16G内存为例-----由于后面有hive的加入,小编

曾执行一个任务的时候,内存峰值飙到过6个G,所以小编配的是 8,4,4

也没有理会windows.直接拉满。(要配就顶配是吧,就像你的人生一样)

3.指定磁盘容量—50G

Hadoop IO调优 hadoop cpu_大数据_04

安静!!坐好!! 我有几句话要讲!!!

那就是:

@1 50G 表示上限为50G,分到50G不会再分

@2 并不代表硬盘一定要把50个G分到虚拟机

@3 如果虚拟机只用了10G,那么剩余的40G,其它文件是能存放的,所以

大胆去配(就像去追小姑娘,第一步永远是 去除 那可笑的胆怯,才能畅

想未来!!小小配置,可笑可笑,配错了大不了重新配嘛!!!注意:

我说的不只是配置!!!)----- 少年,你悟了嘛!


如果有人问你为啥配50G,轻轻走到他旁边,把嘴凑到他耳旁说道:嘘!三

句话。此时如果他双眼发光,身体轻微抖动,并激动的说道:大师,我悟

了!!!那么你的数据之路将多了一位伙伴。如果他疑惑地问道:哪三

句!侠哥的解说都没看过,侠哥很不高兴,玛德,干他!!!(嘿嘿,开

个玩笑)

4.手动分区

Hadoop IO调优 hadoop cpu_hadoop_05

@1 /boot: 刚启动虚拟机需要的资源,一般给1G就够了

@2 swap: 当电脑内存不够时,把磁盘充当内存。(此时程序会慢一些,

但是还能运行),给4G

@3 / : 加减法 50-1-4=45 ,给45G。当然不配置,默认的也行

5 VMnet子网 ip设置

等一下,小编饿了,现在凌晨12.30,我去吃桶泡面,再来写小说。

Hadoop IO调优 hadoop cpu_分布式_06


@1 对 “桥接” 和 ”nat“ 进行解释说明

@2 桥接:虚拟机直接使用物理机所在的网络

@2.1假如我们电脑连的是wife,并且ip:192.168.1.0 。那么wife分给

我们的连接ip : 192.168.1.1—192.168.1.225(家庭网第三个数一般都是1)

@2.2 那么假设 物理机(也就是我们的电脑)连接wife的ip:192.168.1.10

那么因为“桥接:虚拟机直接使用物理机所在的网络”,虚拟机连接wife的

ip:192.168.1.11(假设的,反正保证第三个数为1即可),此时假设又多了

一台物理机 ip:192.168.1.12

@2.3 它三的关系如下

Hadoop IO调优 hadoop cpu_分布式_07


@2.4 不建议使用:

1重用,我们物理机IP是192.168.1.10,虚拟机ip:192.168.1.11,但在这个

环境中,有另一个物理机使用192.168.1.11这个ip 就会产生冲突

2 不安全,因为物理机和虚拟机都在同一个局域网内,此时同局域网内

出现了另一个物理机,那么另一个主机就能访问到我们的物理机和虚拟机

@3 NAT:不会将虚拟机暴露在局域中

Hadoop IO调优 hadoop cpu_分布式_08

@3.1 就不用担心 IP不够用(例子:虚拟IP和另一个主机IP产生冲突),

同时其它主机就不能随意访问虚拟机

@3.2 物理机对外有自己的IP地址,所以我们可以对子网ip192.168.1.0 第

三个数在1到225 任意取值,但是家庭网一般为1,所以是在 1-225 范围

除了1 任意配

6 VMnet8 讲解

@1 相信大家 已经知道 NAT 方式下 “虚拟机” 和 “物理机” 之间是相互ping的通,同时虚拟机将不

对外暴漏,并且主机对外有自己的ip地址

@2 那么是不是可以理解为 “虚拟机”和“物理机”在某个局域网内,那么这个局域网由谁提供呢?

(ok,相信大家已经猜到)----- VMnet8

@3 正片开始

Hadoop IO调优 hadoop cpu_大数据_09


@3.1 虚拟网卡(VMnet8)在装VMware的时候就已经自动装好了

@3.2 既然都是网卡了,相信大家也知道了它的作用了,实在不理解的 把它假设为 wife,同时关

于网卡的ip在 “5 VMnet子网 ip设置”,已经配置了,忘了的小伙伴可以翻回去重新看一看

@3.3 由上得知 "虚拟机"和“物理机”的交互是通过 “虚拟网卡” 实现的,那么"虚拟机"和“物理机”的

IP理论上是可以配置在 192.168.99.1----192.168.99.225这个范围的,(99是因为小编的子网配置

为99)同时又符合了“ NAT 的 物理机对外有自己的ip地址”

7 修改hosts文件

以win10 为例

Hadoop IO调优 hadoop cpu_hadoop_10


有些人是没有hosts文件的,需要自己创建一个

Hadoop IO调优 hadoop cpu_分布式_11


通过以下方法才有效,亲测!自己直接创建和火绒创建都没用:

@1 win + r 输入 cmd

@2 在cmd 中输入

for /f %P in ('dir %windir%\\WinSxS\\hosts /b /s') do copy %P %windir%\\System32\\drivers\\etc & echo %P & Notepad %P

很高兴能和大家分享自己的见解