1、客户机节点

(1) hadoop103 、hadoop104和hadoop105(VMware中虚拟机)。
   (2)每台客户机新建用户:lys     登录密码:123123  ,确保一致。
   (3)配置客户机静态ip地址 和主机名
    主机名                           ip                                    网关                       
    hadoop103               193.168.80.103                 255.255.255.0
    hadoop104               193.168.80.104                 255.255.255.0
    hadoop105               193.168.80.105                 255.255.255.0
 
           Ip地址修改:vim  /etc/sysconfig/network-scripts/ifcfg-eth0
           主机名修改:vim  /etc/sysconfig/network

   (4)将主机名和ip的映射关系添加到 hosts配置文件 ,后续可以使用主机名代替ip地址

$ vim /etc/hosts

    

hadoop cdh修改ip地址后 hadoop的ip地址_hadoop cdh修改ip地址后

 

选择客户机hadoop103为例进行配置:

2、安装jdkhadoop

 (1)切换到root账号,在opt下新建目录:module和software

hadoop cdh修改ip地址后 hadoop的ip地址_配置文件_02

当前目录的权限为root,需要修改为lys(普通用户)权限:

$ su root
$ chown  lys:lys  /module  /software

hadoop cdh修改ip地址后 hadoop的ip地址_配置文件_03

注:software目录存放软件安装包;module目录为软件安装路径;

(2)将hadoop、JDK安装包拷贝到software中(未下载的,请自行下载)。

hadoop cdh修改ip地址后 hadoop的ip地址_主机名_04

(3)将解压software中的文件到module

$ tar -zxvf Hadoop-2.7.2.tar.gz   /opt/module

$ tar -zxvf jdk-7u79-linux-x64.gz  /opt/module

hadoop cdh修改ip地址后 hadoop的ip地址_hadoop_05

(4)jdk和hadoop环境变量配置

$ vim  /etc/profile

hadoop cdh修改ip地址后 hadoop的ip地址_hadoop cdh修改ip地址后_06

(5)验证jdk和hadoop是否安装成功。分别执行如下命令,出现下图信息,表明安装成功

$ java

$ hadoop

hadoop cdh修改ip地址后 hadoop的ip地址_hadoop cdh修改ip地址后_07

hadoop cdh修改ip地址后 hadoop的ip地址_配置文件_08

 

4、配置ssh免密登录

  (1)必须进入/home/lys目录下配置ssh,才是对用户lys生效,同理,在root下配置,只对root用户有效

  (2)客户机hadoop103 生成公钥并发送给hadoop104hadoop105,以后103通过ssh连接104和105将不需要在输入104和105的密码。

  (3)进入: /home/lys/.ssh,生成密钥对

hadoop cdh修改ip地址后 hadoop的ip地址_hadoop cdh修改ip地址后_09

(4)公钥拷贝到hadoop104和hadoop105

[lys@hadoop103 .ssh]$ ssh-copy-id hadoop104
[lys@hadoop103 .ssh]$ ssh-copy-id hadoop105
[lys@hadoop103 .ssh]$ ssh-copy-id hadoop103(自己拷贝给自己)

 到此,hadoop103通过ssh连接hadoop104hadoop105将不要输入密码。按照相同的方式配置hadoop104hadoop105,可使得相互之间ssh连接实现免密登录。

 

5、修改配置文件

  (1)节点运行任务规划

  

hadoop cdh修改ip地址后 hadoop的ip地址_hadoop_10

注:hadoop103        start-dfs.sh(启动nameNode  dataNode  secondaryNameNode)

       Hadoop104       start-yarn.sh(启动yarn) 

(2)需要修改的配置文件(/opt/module/hadoop-2.7.2/etc/hadoop  目录下的配置文件

①core-site.xml             配置nameNode地址    hdfs文件保存路径

hadoop cdh修改ip地址后 hadoop的ip地址_配置文件_11

② Hadoop-env.sh             配置 jdk地址(将文件中的JAVA_HOME去掉,并修改为jkd解压路径)

hadoop cdh修改ip地址后 hadoop的ip地址_hadoop_12

      ③Hdfs-site.xml           secondarynamenode    副本数

hadoop cdh修改ip地址后 hadoop的ip地址_配置文件_13

      ④ Slaves                     集群节点ip

hadoop cdh修改ip地址后 hadoop的ip地址_hadoop cdh修改ip地址后_14

      ⑤Yarn-env.sh             jdk地址(将文件中的JAVA_HOME去掉,并修改为jkd解压路径)

hadoop cdh修改ip地址后 hadoop的ip地址_配置文件_15

      ⑥Yarn-site.xml         nodemanager    和resourcemanager

hadoop cdh修改ip地址后 hadoop的ip地址_hadoop cdh修改ip地址后_16

     ⑦Mapreduce-site.xml      本地运行yarn  

hadoop cdh修改ip地址后 hadoop的ip地址_配置文件_17

⑧Mapreduce-env.sh     jdk地址(将文件中的JAVA_HOME去掉,并修改为jkd解压路径)

hadoop cdh修改ip地址后 hadoop的ip地址_主机名_18

到此,hadoop103配置完毕,将hadoop103的配置文件复制一份到hadoop104和hadoop105,则可减少配置时间。、

特别注意:hadoop103、hadoop104和hadoop105都需要配置ssh免密登录,否则后续启动集群失败。

7、格式化 nameNode

   所有客户机配置完成后,需要格式化一次nameNode

$ hdfs namenode -format

 

hadoop cdh修改ip地址后 hadoop的ip地址_配置文件_19

8、启动集群

 (1)在配置了namenode节点的hadoop103上启动集群

$ start-dfs.sh   #运行集群节点

$ jps            #节点进程查询

hadoop cdh修改ip地址后 hadoop的ip地址_配置文件_20

从上图看到。nameNode和dataNode启动成功,

(2)在配置了namenode节点的hadoop103上关闭集群

$ stop-dfs.sh   #关闭集群节点

$ jps            #节点进程查询

9、启动yarn资源管理器

(1)在配置了resouremanager的hadoop104启动yarn资源管理器

$ start-yarn.sh   #运行集群节点

$ jps            #节点进程查询

hadoop cdh修改ip地址后 hadoop的ip地址_hadoop_21

(2)在配置了resouremanager的hadoop104关闭yarn资源管理器

$ stop-yarn.sh   #关闭集群节点

$ jps            #节点进程查询

 

10.集群启动成功如下图所示

hadoop cdh修改ip地址后 hadoop的ip地址_hadoop_22

hadoop cdh修改ip地址后 hadoop的ip地址_主机名_23

hadoop cdh修改ip地址后 hadoop的ip地址_hadoop cdh修改ip地址后_24