本文章致力于解释Hadoop安装的细节,对每个有困惑的地方进行一个解释。
温馨提示:看文章之前准备一杯水!类容很干!!!(看完,妈妈再也不用担心 我安装Hadoop有困惑了。)
这里写目录标题
- 本文章致力于解释Hadoop安装的细节,对每个有困惑的地方进行一个解释。
- 温馨提示:看文章之前准备一杯水!类容很干!!!(看完,妈妈再也不用担心 我安装Hadoop有困惑了。)
- 1.cpu核数
- 2.内存
- 3.指定磁盘容量---50G
- 4.手动分区
- 5 VMnet子网 ip设置
- 6 VMnet8 讲解
- 7 修改hosts文件
和hadoop安装的爱恨情仇,
各位看官,正片开始。
1.cpu核数
@1 查看物理机CPU个数(Windows10为例)
@1.1 窗口搜索 搜索 “任务管理器”
@1.2 性能–>打开资源管理器–>cpu (末尾“cpu序号+1”=cpu核数,因为
cpu序号从0开始)
@2. 那么由计算可得小编的cpu核数为 12 ==>因为11+1=12嘛(相信大家
都会做20以内的加减法)
@2.1 “处理器数量” 和 “每个处理器的内核数” 这两的乘积,也就是“虚拟机
处理器内核总数” 不要超过电脑的"cpu总和数"
@2.3 但是我们未来要开3台虚拟机 以以下为例:
hadoop102
hadoop103
hadoop104
@2.4 但是不要忘了我们的Windows也需要用到cpu,那么以12个cpu为例,
平均分的话:一个配3个核数。
@2.5 小编的真实情况是:没有理会windows,内存配的是: 6,3,3
到目前做了一个项目,也没有发现什么问题,这个还得是看各位看官自由
搭配了,但是所有的相加不要超过 电脑cpu核数即可
2.内存
@1 欧克,大家已经过了cpu核数的艰难配置,内存对大家来说:简直就
是 so easy,哪里不会看哪里。(脑海莫名的有种声音!尘封的广告!!再
次被唤醒!!!)
@2 对于学大数据的来说,电脑内存至少16个G.
@3 以小编的经验为例:以16G内存为例-----由于后面有hive的加入,小编
曾执行一个任务的时候,内存峰值飙到过6个G,所以小编配的是 8,4,4
也没有理会windows.直接拉满。(要配就顶配是吧,就像你的人生一样)
3.指定磁盘容量—50G
安静!!坐好!! 我有几句话要讲!!!
那就是:
@1 50G 表示上限为50G,分到50G不会再分
@2 并不代表硬盘一定要把50个G分到虚拟机
@3 如果虚拟机只用了10G,那么剩余的40G,其它文件是能存放的,所以
大胆去配(就像去追小姑娘,第一步永远是 去除 那可笑的胆怯,才能畅
想未来!!小小配置,可笑可笑,配错了大不了重新配嘛!!!注意:
我说的不只是配置!!!)----- 少年,你悟了嘛!
如果有人问你为啥配50G,轻轻走到他旁边,把嘴凑到他耳旁说道:嘘!三
句话。此时如果他双眼发光,身体轻微抖动,并激动的说道:大师,我悟
了!!!那么你的数据之路将多了一位伙伴。如果他疑惑地问道:哪三
句!侠哥的解说都没看过,侠哥很不高兴,玛德,干他!!!(嘿嘿,开
个玩笑)
4.手动分区
@1 /boot: 刚启动虚拟机需要的资源,一般给1G就够了
@2 swap: 当电脑内存不够时,把磁盘充当内存。(此时程序会慢一些,
但是还能运行),给4G
@3 / : 加减法 50-1-4=45 ,给45G。当然不配置,默认的也行
5 VMnet子网 ip设置
等一下,小编饿了,现在凌晨12.30,我去吃桶泡面,再来写小说。
@1 对 “桥接” 和 ”nat“ 进行解释说明
@2 桥接:虚拟机直接使用物理机所在的网络
@2.1假如我们电脑连的是wife,并且ip:192.168.1.0 。那么wife分给
我们的连接ip : 192.168.1.1—192.168.1.225(家庭网第三个数一般都是1)
@2.2 那么假设 物理机(也就是我们的电脑)连接wife的ip:192.168.1.10
那么因为“桥接:虚拟机直接使用物理机所在的网络”,虚拟机连接wife的
ip:192.168.1.11(假设的,反正保证第三个数为1即可),此时假设又多了
一台物理机 ip:192.168.1.12
@2.3 它三的关系如下
@2.4 不建议使用:
1重用,我们物理机IP是192.168.1.10,虚拟机ip:192.168.1.11,但在这个
环境中,有另一个物理机使用192.168.1.11这个ip 就会产生冲突
2 不安全,因为物理机和虚拟机都在同一个局域网内,此时同局域网内
出现了另一个物理机,那么另一个主机就能访问到我们的物理机和虚拟机
@3 NAT:不会将虚拟机暴露在局域中
@3.1 就不用担心 IP不够用(例子:虚拟IP和另一个主机IP产生冲突),
同时其它主机就不能随意访问虚拟机
@3.2 物理机对外有自己的IP地址,所以我们可以对子网ip192.168.1.0 第
三个数在1到225 任意取值,但是家庭网一般为1,所以是在 1-225 范围
除了1 任意配
6 VMnet8 讲解
@1 相信大家 已经知道 NAT 方式下 “虚拟机” 和 “物理机” 之间是相互ping的通,同时虚拟机将不
对外暴漏,并且主机对外有自己的ip地址
@2 那么是不是可以理解为 “虚拟机”和“物理机”在某个局域网内,那么这个局域网由谁提供呢?
(ok,相信大家已经猜到)----- VMnet8
@3 正片开始
@3.1 虚拟网卡(VMnet8)在装VMware的时候就已经自动装好了
@3.2 既然都是网卡了,相信大家也知道了它的作用了,实在不理解的 把它假设为 wife,同时关
于网卡的ip在 “5 VMnet子网 ip设置”,已经配置了,忘了的小伙伴可以翻回去重新看一看
@3.3 由上得知 "虚拟机"和“物理机”的交互是通过 “虚拟网卡” 实现的,那么"虚拟机"和“物理机”的
IP理论上是可以配置在 192.168.99.1----192.168.99.225这个范围的,(99是因为小编的子网配置
为99)同时又符合了“ NAT 的 物理机对外有自己的ip地址”
7 修改hosts文件
以win10 为例
有些人是没有hosts文件的,需要自己创建一个
通过以下方法才有效,亲测!自己直接创建和火绒创建都没用:
@1 win + r 输入 cmd
@2 在cmd 中输入
for /f %P in ('dir %windir%\\WinSxS\\hosts /b /s') do copy %P %windir%\\System32\\drivers\\etc & echo %P & Notepad %P
很高兴能和大家分享自己的见解