完全分布式虚拟机准备

  • 完全分布式虚拟机准备
  • 具体步骤如下:
  • 1.准备3台客户机(关闭防火墙、静态ip、主机名称)
  • 2.虚拟机配置
  • 1.修改网卡
  • 2.修改静态ip
  • 3.修改host名称
  • 4.修改主机地址映射
  • 5.关闭防火墙
  • 6.sudo 设置普通用户具有root权限
  • 7.创建安装目录并设置权限
  • 8.测试
  • 3.克隆虚拟机配置
  • 1.修改网卡
  • 2.修改静态ip
  • 3.修改host名称
  • 4.安装JDK,安装Hadoop并配置环境变量
  • 5.完全分布式JDK与Hadoop同步
  • 6.同步程序Mysync


完全分布式虚拟机准备

具体步骤如下:

1.准备3台客户机(关闭防火墙、静态ip、主机名称)

分布式与虚拟化 分布式虚拟化硬件主机_静态ip


分布式与虚拟化 分布式虚拟化硬件主机_分布式与虚拟化_02


分布式与虚拟化 分布式虚拟化硬件主机_静态ip_03


分布式与虚拟化 分布式虚拟化硬件主机_静态ip_04


分布式与虚拟化 分布式虚拟化硬件主机_静态ip_05


分布式与虚拟化 分布式虚拟化硬件主机_linux_06


重复上述操作:接着配置hadoop102 hadoop103

分布式与虚拟化 分布式虚拟化硬件主机_静态ip_07

2.虚拟机配置

1.修改网卡

开启hadoop101

分布式与虚拟化 分布式虚拟化硬件主机_完全分布式_08


分布式与虚拟化 分布式虚拟化硬件主机_静态ip_09


Esc–>:wq!保存并强制退出

2.修改静态ip

分布式与虚拟化 分布式虚拟化硬件主机_hadoop_10


分布式与虚拟化 分布式虚拟化硬件主机_hadoop_11

3.修改host名称

分布式与虚拟化 分布式虚拟化硬件主机_静态ip_12


分布式与虚拟化 分布式虚拟化硬件主机_hadoop_13

4.修改主机地址映射

分布式与虚拟化 分布式虚拟化硬件主机_静态ip_14


分布式与虚拟化 分布式虚拟化硬件主机_完全分布式_15

5.关闭防火墙

分布式与虚拟化 分布式虚拟化硬件主机_完全分布式_16


分布式与虚拟化 分布式虚拟化硬件主机_完全分布式_17

6.sudo 设置普通用户具有root权限

分布式与虚拟化 分布式虚拟化硬件主机_linux_18


分布式与虚拟化 分布式虚拟化硬件主机_静态ip_19


分布式与虚拟化 分布式虚拟化硬件主机_完全分布式_20

7.创建安装目录并设置权限

分布式与虚拟化 分布式虚拟化硬件主机_静态ip_21


最后reboot重启

8.测试

分布式与虚拟化 分布式虚拟化硬件主机_静态ip_22


登录dev1账号

分布式与虚拟化 分布式虚拟化硬件主机_linux_23


分布式与虚拟化 分布式虚拟化硬件主机_完全分布式_24


分布式与虚拟化 分布式虚拟化硬件主机_完全分布式_25


分布式与虚拟化 分布式虚拟化硬件主机_linux_26

3.克隆虚拟机配置

这时克隆过后的hadoop101 hadoop102只需要配置四项1.修改网卡2.修改静态ip3.修改host名称

开启hadoop102登录dev1账号

分布式与虚拟化 分布式虚拟化硬件主机_linux_27

1.修改网卡

dd是剪切 yy是复制 p是粘贴

分布式与虚拟化 分布式虚拟化硬件主机_hadoop_28


分布式与虚拟化 分布式虚拟化硬件主机_分布式与虚拟化_29


Esc–>:wq!保存并强制退出

2.修改静态ip

分布式与虚拟化 分布式虚拟化硬件主机_linux_30


分布式与虚拟化 分布式虚拟化硬件主机_完全分布式_31

3.修改host名称

分布式与虚拟化 分布式虚拟化硬件主机_分布式与虚拟化_32


分布式与虚拟化 分布式虚拟化硬件主机_hadoop_33


Reboot重启

分布式与虚拟化 分布式虚拟化硬件主机_linux_34


最后按上面步骤8测试一下即可

分布式与虚拟化 分布式虚拟化硬件主机_hadoop_35


克隆的hadoop103虚拟机配置同hadoop102

最后显示测试结果

分布式与虚拟化 分布式虚拟化硬件主机_linux_36


分布式与虚拟化 分布式虚拟化硬件主机_hadoop_37


分布式与虚拟化 分布式虚拟化硬件主机_分布式与虚拟化_38

4.安装JDK,安装Hadoop并配置环境变量

分布式与虚拟化 分布式虚拟化硬件主机_完全分布式_39


点击编辑 本地窗口打开本地窗口,并上传hadoop和jdk

分布式与虚拟化 分布式虚拟化硬件主机_hadoop_40


同理

分布式与虚拟化 分布式虚拟化硬件主机_hadoop_41


分布式与虚拟化 分布式虚拟化硬件主机_分布式与虚拟化_42


解压

分布式与虚拟化 分布式虚拟化硬件主机_静态ip_43


分布式与虚拟化 分布式虚拟化硬件主机_hadoop_44


分布式与虚拟化 分布式虚拟化硬件主机_hadoop_45


分布式与虚拟化 分布式虚拟化硬件主机_完全分布式_46


分布式与虚拟化 分布式虚拟化硬件主机_hadoop_47


实现群发

这里hadoop101 hadoop102 hadoop103 一起发送指令在下面小框里输入命令,右键 发送交互到所有会话

分布式与虚拟化 分布式虚拟化硬件主机_hadoop_48


分布式与虚拟化 分布式虚拟化硬件主机_linux_49


注意:这里都是右键 选择:发送交互到所有会话

分布式与虚拟化 分布式虚拟化硬件主机_linux_50


分布式与虚拟化 分布式虚拟化硬件主机_linux_51


分布式与虚拟化 分布式虚拟化硬件主机_分布式与虚拟化_52


三个虚拟机命令框里都是以下同样的显示

分布式与虚拟化 分布式虚拟化硬件主机_静态ip_53


分布式与虚拟化 分布式虚拟化硬件主机_hadoop_54


三个虚拟机命令框里都是以下同样的显示

分布式与虚拟化 分布式虚拟化硬件主机_完全分布式_55


分布式与虚拟化 分布式虚拟化硬件主机_完全分布式_56

5.完全分布式JDK与Hadoop同步

分布式与虚拟化 分布式虚拟化硬件主机_linux_57


分布式与虚拟化 分布式虚拟化硬件主机_分布式与虚拟化_58


分布式与虚拟化 分布式虚拟化硬件主机_完全分布式_59


在hadoop101上,将hadoop101中/opt/module/目录下的文件拷贝到hadoop102上

分布式与虚拟化 分布式虚拟化硬件主机_分布式与虚拟化_60


在hadoop102查看到拷贝成功

分布式与虚拟化 分布式虚拟化硬件主机_完全分布式_61


在hadoop101上,将hadoop101中/opt/module/目录下的文件拷贝到hadoop103上

分布式与虚拟化 分布式虚拟化硬件主机_分布式与虚拟化_62


在hadoop103查看到拷贝成功

分布式与虚拟化 分布式虚拟化硬件主机_hadoop_63


分布式与虚拟化 分布式虚拟化硬件主机_静态ip_64


将hadoop101中的/etc/profile文件拷贝到hadoop102的/etc/profile上

分布式与虚拟化 分布式虚拟化硬件主机_hadoop_65


在hadoop102查看到拷贝成功

分布式与虚拟化 分布式虚拟化硬件主机_hadoop_66


分布式与虚拟化 分布式虚拟化硬件主机_linux_67


将hadoop101中的/etc/profile文件拷贝到hadoop103的/etc/profile上

分布式与虚拟化 分布式虚拟化硬件主机_linux_68


分布式与虚拟化 分布式虚拟化硬件主机_完全分布式_69


分布式与虚拟化 分布式虚拟化硬件主机_linux_70


三个虚拟机命令框里都是以下同样的显示

分布式与虚拟化 分布式虚拟化硬件主机_完全分布式_71


重新读取配置文件

分布式与虚拟化 分布式虚拟化硬件主机_分布式与虚拟化_72


测试一下

分布式与虚拟化 分布式虚拟化硬件主机_完全分布式_73


分布式与虚拟化 分布式虚拟化硬件主机_linux_74


三个虚拟机命令框里都是以下同样的显示

分布式与虚拟化 分布式虚拟化硬件主机_完全分布式_75


分布式与虚拟化 分布式虚拟化硬件主机_分布式与虚拟化_76

将hadoop101中的/opt、software目录同步到hadoop102服务器的dev1用户下的/opt/目录

分布式与虚拟化 分布式虚拟化硬件主机_linux_77


分布式与虚拟化 分布式虚拟化硬件主机_hadoop_78


拍照(备份)

分布式与虚拟化 分布式虚拟化硬件主机_完全分布式_79


分布式与虚拟化 分布式虚拟化硬件主机_完全分布式_80

6.同步程序Mysync

分布式与虚拟化 分布式虚拟化硬件主机_静态ip_81


分布式与虚拟化 分布式虚拟化硬件主机_分布式与虚拟化_82


分布式与虚拟化 分布式虚拟化硬件主机_完全分布式_83


在/home/dev1 目录下创建bin目录,并在bin目录下Mysync创建文件

分布式与虚拟化 分布式虚拟化硬件主机_静态ip_84


在该文件中编写如下代码

分布式与虚拟化 分布式虚拟化硬件主机_hadoop_85


修改脚本 Mysync 具有执行权限

分布式与虚拟化 分布式虚拟化硬件主机_linux_86


调用脚本形式:Mysync 文件名称

分布式与虚拟化 分布式虚拟化硬件主机_分布式与虚拟化_87


验证

分布式与虚拟化 分布式虚拟化硬件主机_hadoop_88


分布式与虚拟化 分布式虚拟化硬件主机_linux_89


这里完全分布式虚拟机准备 就完成了!!!

上一章:伪分布式调用hdfs运行yarn
下一章:完全分布式集群配置与单点启动

更多详情见:大数据环境搭建—1.虚拟机准备