>大数据实验环境

  1. Hadoop 2.7.3
  2. Flume 1.7.0
  3. Hive 2.3.0
  4. Storm 1.0.3
  5. HBase 1.3.1
  6. Pig 0.17
  7. Spark 2.1.0
  8. Zookeeper 3.4.10
  9. Sqoop 1.4.5
  10. Hue 4.0.1
  11. Scala语言:用于开发Spark
  12. MySQL 5.7.19
  13. 其他环境:Redhat7.4 x86_64,Tomcat7,JDK1.8
  14. PC、服务器环境:由于至少需要5台虚拟机(每台内存至少2G),因此如果是个人PC的话,至少8G内存(8G是乞丐版)!服务器安装的话推荐!

>Redhat7虚拟机安装与配置

由于Hadoop支持本地模式(1台),伪分布模式(1台),全分布模式(3台)。所以为了学习,至少搭建5台虚拟机。下面演示的是一台虚拟机的安装与配置,其他虚拟机参照第一台配置即可。

VMware自定义安装虚拟机

新建虚拟机-自定义

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_Hadoop

硬件兼容性-12

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_Hadoop_02

稍后安装操作系统

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_hadoop与虚拟机_03

 系统类型为Linux-Redhat7 64位

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_hadoop与虚拟机_04

设置虚拟机名称和位置

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_重启_05

处理器配置(最低配1:1也可以)

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_hadoop与虚拟机_06

内存至少2G

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_重启_07

网络模式选择:只要可以保证虚拟机可以互相联通,可以选择任意类型。

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_重启_08

其他设置默认即可:

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_root用户_09

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_hadoop与虚拟机_10

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_Hadoop_11

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_重启_12

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_重启_13

点击完成即可,启动虚拟机前先配置加载的ISO(Redhat7的安装镜像)

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_重启_14

 开启虚拟机,下面开始配置

配置虚拟机

选择安装

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_重启_15

选择语言English

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_Hadoop_16

 

 设置时区(Asia/Shanghai)

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_重启_17

 

Server with GUI+Development Tools

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_hadoop与虚拟机_18

System配置按照下图即可

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_root用户_19

配置网络和主机名【最重要一步】

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_root用户_20

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_root用户_21

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_hadoop与虚拟机_22

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_hadoop与虚拟机_23

开始安装

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_hadoop与虚拟机_24

设置root密码

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_Hadoop_25

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_Hadoop_26

等待安装完成,重启虚拟机

重启后开始安装向导配置

接受license

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_Hadoop_27

 

 语言选择:English

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_hadoop与虚拟机_28

键盘:English

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_重启_29

隐私设置:关闭

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_重启_30

时区

在线账户,跳过

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_root用户_31

新建一个用户,注意这里不是root用户,用户名是roo

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_root用户_32

设置密码

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_Hadoop_33

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_hadoop与虚拟机_34

注意:这时登录的用户并不是root用户,登录进去后,选择logout,重新登录root用户并按照上面的安装向导重新配置一遍即可。(Linux系统的基础操作,不再截图演示)。这时我们就可以登录root用户了。

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_root用户_35

其他4台虚拟机参考上图操作,完整安装即可!不可以不安装,否则讲分布式配置的时候无法完成。配置完成参考下图。

 >配置完成效果图

hadoop与虚拟机 玩hadoop虚拟机内存得配多大_Hadoop_36