虚拟机搭建HDFS 虚拟机搭建hadoop

Hadoop环境搭建（一）虚拟机快速创建和环境准备

• 搭建所使用的环境和软件：
• 创建虚拟机(VM)
• 完成虚拟机创建配置后给VM安装操作系统
• 如果时间不对，设置时区和时间同步
• 将一台虚拟机ip修改为静态ip,和修改主机名字
• 用Xshell连接
• 关闭防火墙
• 配置自己的用户具有root权限
• 安装JDK
• 安装hadoop

搭建所使用的环境和软件：

1. VMware15
2. CentOS 7 64位
3. Xshell
4. Xftp
5. hadoop-2.7.2.tar.gz
6. jdk-8u162-linux-x64.tar.gz

创建虚拟机(VM)

2. 用典型简单创建：







4. 给虚拟机分配处理器,内存资源和网络适配器。
   我这里为 1 个虚拟 CPU 和 2G 内存，网络适配器为NAT,可按需求修改.



6. 为虚拟机分配存储空间。
   我这里分配的20G,根据实际需要设置虚拟硬盘容量。

完成虚拟机创建配置后给VM安装操作系统

1. 出现 CentOS Linux 7 安装屏幕，按回车(或等待 1 分钟)继续。
2. 按 Esc 键跳过安装源检查，等待安装程序对系统自检(等待时间较长)。
3. 选择语言，中文->简体中文。点击“继续”。

4. 选择安装源(默认)，软件选择，安装位置。点击“软件选择”，选择软件。
5. 在VMware进行安装centos7，
   第一种无图形界面：选择安装计算节点，然后选里面的：调试工具，性能工具，开发工具,就够了
   第二种如图有图像界面：选择开发及生成工作站：开发工具就够了

6. 点击”安装位置”，选择自动分区，单击左上角”完成”。

7. 开始安装，安装过程中可设置 root和用户和密码

8. 重启后，在“初始设置”页面，点击“未接受许可证”
   点击“我同意许可协议”复选框，按左上角“完成”。再在“初始设置”页面点击“完成配置”。
   
9. 在“欢迎”页面，选择“汉语”。

如果时间不对，设置时区和时间同步

用root登陆打开终端：

在终端依次运行：

1. 安装ntpdate工具
   yum -y install ntp ntpdate
2. 设置系统时间与网络时间同步:
   ntpdate cn.pool.ntp.org
3. 将系统时间写入硬件时间
   hwclock --systohc
4. 检查时间是否同步
   date

将一台虚拟机ip修改为静态ip,和修改主机名字

以hadoop-00为例

1. 查看虚拟网络连接器
2. 查看NAT设置，查看网关

根据自己的网段，从这儿规划出4个IP，以后会用。
192.168.218.132 hadoop-00
192.168.218.133 hadoop-01
192.168.218.134 hadoop-02
192.168.218.135 hadoop-03

4. 修改主机名
   vim /etc/hostname





5. 
   
7. 修改/etc/hosts
   修改内容为规划好的ip以及对应的主机名
   vim /etc/hosts



8. 
   



9. 
   
10. 修改静态ip

• 第一步：
  vim /etc/sysconfig/network-scripts/ifcfg-ens33 这是我的配置，黄色荧光是我改的部分，如果你的配置没有的部分自己要添加。



• 
  

TYPE="Ethernet"
PROXY_METHOD="none"
BROWSER_ONLY="no"
#BOOTPROTO="dhcp"
DEFROUTE="yes"
IPV4_FAILURE_FATAL="no"
IPV6INIT="yes"
IPV6_AUTOCONF="yes"
IPV6_DEFROUTE="yes"
IPV6_FAILURE_FATAL="no"
IPV6_ADDR_GEN_MODE="stable-privacy"
NAME="ens33"
UUID="6ddb40f1-d3c7-498b-9b5c-c92af02b8a65"
DEVICE="ens33"

ONBOOT="yes"
BOOTPROTO="static"
IPADDR=192.168.218.132 #静态IP  
GATEWAY=192.168.218.2 #默认网关  
NETMASK=255.255.255.0 #子网掩码
DNS1=192.168.218.2 #DNS 配置

• 第二步：
  修改完后，执行：
  systemctl restart network.service



• 
  
• 第三步:
  检查一下
  ifconfig



• ping下自己
  ping 192.168.218.132



• ping下百度
  ping www.baidu.com



• 都能ping通说明成功了。

用Xshell连接

Xshell用途:Xshell可以在Windows界面下用来访问远端不同系统下的服务器，从而比较好的达到远程控制终端的目的，通俗来讲就是远程操控。

2. 新建会话，主机填所连接的IP



4. 接受并保存



6. 填写账户名



7. 填写密码

5. 连接成功

关闭防火墙

6. 查看防火墙状态
   firewall-cmd --state
7. 停止firewall
   systemctl stop firewalld.service
8. 禁止firewall开机启动
   systemctl disable firewalld.service

配置自己的用户具有root权限

vim /etc/sudoers 在100行后面添加：有两种设置模式

1. 添加 zyy ALL=(ALL) ALL 这种模式：采用sudo命令时，输入密码次数较多
2. 添加zyy ALL=(ALL) NOPASSWD:ALL 这种模式：采用sudo命令时，不需要输入密码

安装JDK

用自己的用户进行后续：

1. 在/opt目录下创建module、software文件夹并修改文件夹的所有者

cd /opt/
sudo mkdir module
sudo mkdir software
sudo chown zyy:zyy module/ software/
ll

2. 卸载现有JDK

(1). 查询是否安装Java软件：

rpm -qa|grep java

(2). 全部卸载

rpm -e --nodeps 包名称

sudo rpm -e --nodeps java-1.7.0-openjdk-1.7.0.221-2.6.18.1.el7.x86_64
sudo rpm -e --nodeps java-1.8.0-openjdk-1.8.0.222.b03-1.el7.x86_64
sudo rpm -e --nodeps javapackages-tools-3.4.1-11.el7.noarch
sudo rpm -e --nodeps javamail-1.4.6-8.el7.noarch
sudo rpm -e --nodeps tzdata-java-2019b-1.el7.noarch
sudo rpm -e --nodeps java-1.7.0-openjdk-headless-1.7.0.221-2.6.18.1.el7.x86_64
sudo rpm -e --nodeps java-1.8.0-openjdk-headless-1.8.0.222.b03-1.el7.x86_64
sudo rpm -e --nodeps javassist-3.16.1-10.el7.noarch
sudo rpm -e --nodeps python-javapackages-3.4.1-11.el7.noarch

3. 用Xftp将JDK导入opt目录下面的software文件夹下
   (1). Xfrp新建会话如Xshell
   (2). 传过去

看看是否成功

cd /opt/software/
ls

4. 解压JDK到/opt/module目录下

tar -zxvf jdk-8u162-linux-x64.tar.gz -C /opt/module/

5. 配置JDK环境变量
   (1). 打开/etc/profile文件
   sudo vi /etc/profile (2). 末尾添加JDK路径
   添加的内容

#JAVA_HOME
export JAVA_HOME=/opt/module/jdk1.8.0_162
export PATH=$PATH:$JAVA_HOME/bin

(3). 让修改后的文件生效

source /etc/profile

6. 看看JDK是否安装成功
   java -version

安装hadoop

1. 解压Hadoop安装包到/opt/module下

cd /opt/software/
tar -zxvf hadoop-2.7.2.tar.gz -C /opt/module/
ls /opt/module/

解压：

查看解压成功没

1. 将Hadoop添加到环境变量
   (1). 打开/etc/profile文件末尾添加路径
   sudo vi /etc/profile

#添加的内容：
##HADOOP_HOME
export HADOOP_HOME=/opt/module/hadoop-2.7.2
export PATH=$PATH:$HADOOP_HOME/bin
export PATH=$PATH:$HADOOP_HOME/sbin

(2). 使文件生效

source /etc/profile

(3). 检查是否成功

hadoop version

收工！第一台虚拟机创建好了！