目录

一、安装准备

二,安装虚拟机

三丶安装部署Hadoop集群

到这里咱们的集群就部署完毕了!!


一、安装准备

vm15pro,centos6.9,jdk1.8,hadoop2.7.4,SecureCR+SecureFX 7.0.0 Build 326(64位版)

二,安装虚拟机

(1)新建虚拟机

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_02

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_03

centos hadoop客户端安装配置 hadoop安装配置步骤_Hadoop_04

centos hadoop客户端安装配置 hadoop安装配置步骤_Hadoop_05

centos hadoop客户端安装配置 hadoop安装配置步骤_Hadoop_06

(2)编辑虚拟机设置

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_07

 

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_08

(3)初始化虚拟机

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_09

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_10

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_11

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_12

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_13

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_14

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_15

centos hadoop客户端安装配置 hadoop安装配置步骤_Hadoop_16

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_17

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_18

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_19

创建三个文件夹,方便以后使用

centos hadoop客户端安装配置 hadoop安装配置步骤_Hadoop_20

(4)克隆虚拟机

右键点击hadoop01,选择管理,选择克隆

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_21

centos hadoop客户端安装配置 hadoop安装配置步骤_Hadoop_22

同样克隆hadoop03

(5)配置虚拟机网络

点击编辑 -->  网络首选项,查看可以使用的ip段

centos hadoop客户端安装配置 hadoop安装配置步骤_Hadoop_23

修改主机名

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_24

分别改称hadoop01,hadoop02,hadoop03

 

更改ip主机映射,左边的ip地址根据刚才看的范围自己写

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_25

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_26

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_27

更改MAC地址(在虚拟机设置,网络适配器中查看MAC地址),只保留eth0,删除eth1

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_28

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_29

更改网卡信息如下图

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_30

 

验证配置是否正确

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_31

(6)配置SSH

先设置网络连接模式为 仅主机模式,不要使用NAT模式,NAT模式的ip网段和主机是不连通的。

 

centos hadoop客户端安装配置 hadoop安装配置步骤_Hadoop_32

查看是否安装ssh和是否开启ssh服务

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_33

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_34

将划红线一行注释去掉

centos hadoop客户端安装配置 hadoop安装配置步骤_Hadoop_35

重启ssh服务

centos hadoop客户端安装配置 hadoop安装配置步骤_Hadoop_36

打开CRT远程连接工具,选择左上角文件 --> 快速链接

centos hadoop客户端安装配置 hadoop安装配置步骤_Hadoop_37

centos hadoop客户端安装配置 hadoop安装配置步骤_Hadoop_38

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_39

(7)配置免密登录

输入命令后连续敲四次回车即可

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_40

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_41

将公钥复制到本机和hadoop02和hadoop03

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_42

如图显示命令不存在,需要安装ssh,三台虚拟机都要安装

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_43

这里如果安装失败可能是虚拟机不能访问外网的缘故,请参照这里使虚拟机可以联网


centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_44

现在复制成功了,同理复制到hadoop03。然后在其他两台虚拟机进行同样的操作。

三丶安装部署Hadoop集群

(1)安装JDK

使用rz命令将安装包传输到虚拟机hadoop01中并解压

(须提前下载rz)

centos hadoop客户端安装配置 hadoop安装配置步骤_Hadoop_45

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_46

centos hadoop客户端安装配置 hadoop安装配置步骤_Hadoop_47

 

给他把名字缩短一下

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_48

配置JDK环境变量

centos hadoop客户端安装配置 hadoop安装配置步骤_Hadoop_49

centos hadoop客户端安装配置 hadoop安装配置步骤_Hadoop_50

centos hadoop客户端安装配置 hadoop安装配置步骤_Hadoop_51

验证是否安装成功

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_52

(2)安装Hadoop

同JDK的安装,使用rz将Hadoop安装包上传到hadoop01,并解压

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_53

别忘了给Hadoop改名,然后配置环境变量

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_54

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_55

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_56

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_57

(3)Hadoop集群部署

先配置hadoop-env.sh文件

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_58

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_59

再配置core-site.xml文件,这里的tmp目录用于存放hadoop临时文件,需要咱们自己提前创建

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_60

修改hdfs-site.xml文件

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_61

修改mapred-site.xml

centos hadoop客户端安装配置 hadoop安装配置步骤_Hadoop_62

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_63

修改yarn-site.xml

centos hadoop客户端安装配置 hadoop安装配置步骤_Hadoop_64

修改slaves文件

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_65

将主节点配置文件分发给其他节点

centos hadoop客户端安装配置 hadoop安装配置步骤_Hadoop_66

然后分别在hadoop02,hadoop03上执行如下命令刷新配置信息

centos hadoop客户端安装配置 hadoop安装配置步骤_Hadoop_67

(4)Hadoop集群测试

使用如下命令格式化文件系统

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_68

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_69

这样就是格式化成功

启动集群所有机器的HDFS和YARN服务

centos hadoop客户端安装配置 hadoop安装配置步骤_Hadoop_70

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_71

 

hadoop01,hadoop02,hadoop03进程应分别如下

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_72

centos hadoop客户端安装配置 hadoop安装配置步骤_Hadoop_73

centos hadoop客户端安装配置 hadoop安装配置步骤_Hadoop_74

使用UI界面查看Hadoop运行状况

①先关闭所有主机的防火墙

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_75

②在浏览器访问 服务器ip地址:8088和 服务器ip地址:50070

centos hadoop客户端安装配置 hadoop安装配置步骤_ip地址_76

centos hadoop客户端安装配置 hadoop安装配置步骤_hadoop_77

到这里咱们的集群就部署完毕了!!

 

总结以下经验:

一丶千里之堤,溃于蚁穴。安装时一定要细心,每一个细节都不能错。

二丶百度和谷歌是个好东西,希望人人都会科学使用它们。