1、客户机节点
(1) hadoop103 、hadoop104和hadoop105(VMware中虚拟机)。
(2)每台客户机新建用户:lys 登录密码:123123 ,确保一致。
(3)配置客户机静态ip地址 和主机名
主机名 ip 网关
hadoop103 193.168.80.103 255.255.255.0
hadoop104 193.168.80.104 255.255.255.0
hadoop105 193.168.80.105 255.255.255.0
Ip地址修改:vim /etc/sysconfig/network-scripts/ifcfg-eth0
主机名修改:vim /etc/sysconfig/network
(4)将主机名和ip的映射关系添加到 hosts配置文件 ,后续可以使用主机名代替ip地址
$ vim /etc/hosts
选择客户机hadoop103为例进行配置:
2、安装jdk和hadoop
(1)切换到root账号,在opt下新建目录:module和software
当前目录的权限为root,需要修改为lys(普通用户)权限:
$ su root
$ chown lys:lys /module /software
注:software目录存放软件安装包;module目录为软件安装路径;
(2)将hadoop、JDK安装包拷贝到software中(未下载的,请自行下载)。
(3)将解压software中的文件到module
$ tar -zxvf Hadoop-2.7.2.tar.gz /opt/module
$ tar -zxvf jdk-7u79-linux-x64.gz /opt/module
(4)jdk和hadoop环境变量配置
$ vim /etc/profile
(5)验证jdk和hadoop是否安装成功。分别执行如下命令,出现下图信息,表明安装成功
$ java
$ hadoop
4、配置ssh免密登录
(1)必须进入/home/lys目录下配置ssh,才是对用户lys生效,同理,在root下配置,只对root用户有效
(2)客户机hadoop103 生成公钥并发送给hadoop104和hadoop105,以后103通过ssh连接104和105将不需要在输入104和105的密码。
(3)进入: /home/lys/.ssh,生成密钥对
(4)公钥拷贝到hadoop104和hadoop105
[lys@hadoop103 .ssh]$ ssh-copy-id hadoop104
[lys@hadoop103 .ssh]$ ssh-copy-id hadoop105
[lys@hadoop103 .ssh]$ ssh-copy-id hadoop103(自己拷贝给自己)
到此,hadoop103通过ssh连接hadoop104和hadoop105将不要输入密码。按照相同的方式配置hadoop104和hadoop105,可使得相互之间ssh连接实现免密登录。
5、修改配置文件
(1)节点运行任务规划
注:hadoop103 start-dfs.sh(启动nameNode dataNode secondaryNameNode)
Hadoop104 start-yarn.sh(启动yarn)
(2)需要修改的配置文件(/opt/module/hadoop-2.7.2/etc/hadoop 目录下的配置文件)
①core-site.xml 配置nameNode地址 hdfs文件保存路径
② Hadoop-env.sh 配置 jdk地址(将文件中的JAVA_HOME去掉,并修改为jkd解压路径)
③Hdfs-site.xml secondarynamenode 副本数
④ Slaves 集群节点ip
⑤Yarn-env.sh jdk地址(将文件中的JAVA_HOME去掉,并修改为jkd解压路径)
⑥Yarn-site.xml nodemanager 和resourcemanager
⑦Mapreduce-site.xml 本地运行yarn
⑧Mapreduce-env.sh jdk地址(将文件中的JAVA_HOME去掉,并修改为jkd解压路径)
到此,hadoop103配置完毕,将hadoop103的配置文件复制一份到hadoop104和hadoop105,则可减少配置时间。、
特别注意:hadoop103、hadoop104和hadoop105都需要配置ssh免密登录,否则后续启动集群失败。
7、格式化 nameNode
所有客户机配置完成后,需要格式化一次nameNode
$ hdfs namenode -format
8、启动集群
(1)在配置了namenode节点的hadoop103上启动集群
$ start-dfs.sh #运行集群节点
$ jps #节点进程查询
从上图看到。nameNode和dataNode启动成功,
(2)在配置了namenode节点的hadoop103上关闭集群
$ stop-dfs.sh #关闭集群节点
$ jps #节点进程查询
9、启动yarn资源管理器
(1)在配置了resouremanager的hadoop104启动yarn资源管理器
$ start-yarn.sh #运行集群节点
$ jps #节点进程查询
(2)在配置了resouremanager的hadoop104关闭yarn资源管理器
$ stop-yarn.sh #关闭集群节点
$ jps #节点进程查询
10.集群启动成功如下图所示