一、什么是hadoop
hadoop是一个分布式系统架构，负责海量数据的存储和海量数据的分析计算。
spark框架可以在Hadoop之上做内存计算
二、hadoop框架搭建
1.虚拟机安装Centos7.5系统
整个虚拟机的安装按照 硬件 -> 软件(OS) -> 网卡 -> 主机名 的顺序
1）硬件
截图忘保存了哎，内存大小4G（2G太小了，选2G的话可能后面还要改），CPU个数一般都选2，CPU的核数我选了1（因为还要克隆3个一模一样的，我担心自己电脑（也就是宿主机）的性能不行），网络连接不要选桥接，选NAT，其他的忘记了
2）软件
下载CentOS7.5的镜像。在网盘的学习资料里有。这个链接里也有
将镜像（系统盘）插入CD中，然后点击启动虚拟机
2. IP和主机名称配置
首先来看一下什么是VNet1和VNet8。
当我们安装VMware Workstation后，在宿主机上会多出两个虚拟网卡，VMNet1、VMNet8，在虚拟机设置里会多出一个配置 VMNet0
vmnet1和vmnet8是两个虚拟网卡，主要作用是让虚拟机可以通过你的宿主机的网线上网
但是对上述“创建虚拟机后默认是桥接模式并且可以连网”存疑，默认不可以连网呀？默认启用的是VNet1才对吧
有3处关于IP的配置需要改
- 宿主机Window服务器的IP
- VM Ware中虚拟网卡的IP
- 虚拟机的IP
1）首先配置VM Ware的IP
在本机的cmd窗口输入ipconfig命令，有3个IP地址
前两个是虚拟机的虚拟网卡（和下图中的对应），没有默认网关；最后一个是我家里WiFi的，这个是移动公司分配的是真实的。
在菜单栏编辑里选择虚拟网络编辑器
选中虚拟网络VMnet8那一行以后，点击右下角的更改设置，然后将IP改成192.168.10.0，
点击上图右边的NAT设置，将网关改成192.128.10.2（从下图也可以看出，vmnet8是一个虚拟出来的网络192.168.10.0，所以网关192.128.10.2也是虚拟的，我们的虚拟机192.168.10.100、192.168.10.101、192.168.10.102、192.168.10.103就存在于这个虚拟的网络中，）
此时VM Ware的IP设置完毕了，再用ipconfig命令查看，net8的IP变了，但是没有默认网关，因为默认网关的设置应该去本机的网络设置里搞，虚拟机里只是相当于先说明一下
2）配置Windows的IP在设置中，找到以太网，然后单机更改适配器选项
进入vmnet8的属性
双击internet协议版本4（TCP/IPv4）这一行，按照下面
再用ipconfig命令去看，VMnet8就有了默认网关：
3）更改虚拟机的IP
开机初始化的时候，我们设置了两种密码，一个是root用户的，一个自己这个普通用户的，开机后进入的是普通用户。
首先，改成root登录，输入密码，然后通过修改两个配置文件分别修改IP地址和主机名称。
把IP地址分配方式BOOTPROTO由DHCP改成静态static 然后加入后面三行
使用vim /etc/hostname命令更改主机名为Hadoop100，不过前面安装系统的时候设置过了，所以不用改了
3.其他设置
1）定义IP地址和主机名的映射
应该是为了后面克隆主机的时候不用手动修改新主机的IP，来映射里找就行了
命令vim /etc/hosts 然后加上后面9行
然后命令reboot重启
4.网络测试
1）这次重新登录的时候用root账号登
然后在命令行输入ifconfig命令，但是这里出现了一个错误，没有找到ens33这块网卡，所以下面也没有我们设好的192.168.10.100这个IP。而且ping也不好用
按照网上的提示，用了service network restart命令重启网络，报出了错误，根据错误提示，查看了一个journal，确实是ens33打不开的问题
解决方法：关闭NetworkManager
连续输入下面四条命令
[root@localhost ~]# chkconfig NetworkManager off
Note: Forwarding request to ‘systemctl disable NetworkManager.service’.
Removed symlink/etc/systemd/system/multiuser.target.wants/NetworkManager.service.
Removed symlink
/etc/systemd/system/dbus-org.freedesktop.NetworkManager.service.
Removed symlink
/etc/systemd/system/dbus-org.freedesktop.nm-dispatcher.service.
Removed symlink
/etc/systemd/system/network-online.target.wants/NetworkManager-wait-online.service.[root@localhost ~]# chkconfig network on
[root@localhost ~]# service NetworkManager stop
Redirecting to /bin/systemctl stop NetworkManager.service[root@localhost ~]# service network start
Starting network (via systemctl): [ OK ]
然后用 ip addr命令看一下，可以啦
2）ping测试
而且ping也好用啦
三、虚拟机是怎样连网的呢
前面跟着教程做了一通，但是并不明白设置哪些IP有什么用，虚拟机是怎样访问互连网的。准备研究一下再写
