本文基于jdk-1.8.0_121, hadoop-2.7.3
主机:centos01 ip:192.168.233.128
从机1:centos02 ip:192.168.233.131
从机2:centos03 ip:192.168.233.132
以下操作在Xshell里完成
1.关闭防火墙
firewall-cmd --state
显示防火墙状态running/not running
systemctl stop firewalld
临时关闭防火墙,每次开机重启防火墙
systemctl disable firewalld
禁止防火墙服务。
2.传输JDK和HADOOP压缩包(在这里我们首先配置主机然后复制到从机)
到官网下载jdk-8u121-linux-x64.tar.gz 和hadoop-2.7.3.tar.gz安装包,使用Xshell里的xftp把安装包传到主机里
3.解压JDK、HADOOP

tar -zxvf jdk-8u121-linux-x64.tar.gz -C /opt/module

解压安装

tar -zxvf hadoop-2.7.3.tar.gz -C /opt/module

4.配置JDK并生效

vi /etc/profile

文件添加:

export JAVA_HOME=/opt/module/jdk1.8.0_121
 export PATH=$JAVA_HOME/bin:$PATH

Esc :wq!保存并退出。
不需要配置CLASSPATH

source /etc/profile

配置生效
运行命令

java -version,

检验是否成功。

centos6 hosts不生效_centos6 hosts不生效


5.配置HADOOP并生效

vi /etc/profile

文件添加:

export HADOOP_HOME=/opt/module/hadoop-2.7.3
export PATH=$HADOOP_HOME/bin:$HADOOP_HOME/sbin:$PATH

Esc :wq!保存并退出。

source /etc/profile配置生效

运行命令hadoop,检验是否成功。

centos6 hosts不生效_蔡名飞_02


6.修改主机Hadoop5个配置文件

二、修改以下5个配置文件

添加如下property:

1,core-site.xml

<!--配置HDFS主节点,namenode的地址,9000是RPC通信端口-->
<property>
        <name>fs.defaultFS</name>
        <value>hdfs://bigdata128:9000</value>
</property>
<!--配置HDFS数据块和元数据保存的目录,一定要修改-->
<property>
        <name>hadoop.tmp.dir</name>
        <value>/opt/module/hadoop-2.7.3/tmp</value>
</property>

2,hdfs-site.xml

<!--注释配置数据块的冗余度,默认是3-->			 
<property>		 
	     <name>dfs.replication</name>		 
	     <value>3</value>		 
</property>		
<!--secondaryNameNode的主机地址--> 
<property>
         <name>dfs.namenode.secondary.http-address</name>
         <value>bigdata128:50090</value>
</property>

3,mapred-site.xml
cp mapred-site.xml.template mapred-site.xml

<!--配置MR程序运行的框架-->			 
<property>			 
	  <name>mapreduce.framework.name</name> 
	  <value>yarn</value> 
</property>

4,yarn-site.xml

<!--配置Yarn的节点-->			 
<property>			 
	  <name>yarn.resourcemanager.hostname</name> 
	  <value>bigdata128</value> 
</property>	 
<!--NodeManager执行MR任务的方式是Shuffle洗牌-->			 
<property>	 
	  <name>yarn.nodemanager.aux-services</name> 
	  <value>mapreduce_shuffle</value> 
</property>

5,slaves配置文件
三台虚拟机分别都运行命令

vi /opt/module/hadoop-2.7.3/etc/hadoop slaves

修改slaves为:

centos02
centos03

6,修改\etc\hosts配置文件
三台虚拟机都运行以下命令

vi /etc /hosts

注释已有内容,添加集群三台虚拟机的ip及对应主机名:

192.168.233.128 centos01
192.168.233.131 centos02
192.168.233.132 centos03

7,修改/etc/hostname配置文件
三台虚拟机都运行以下命令

vi /etc /hostname

添加各自的主机名centos01或者centos02或者centos03。
8,复制配置好的hadoop,jdk和配置文件到从机
在主机上运行复制命令:

scp -r /opt/module/jdk1.8.0_121 root@centos02:/opt/module
 scp -r /opt/module/jdk1.8.0_121 root@centos03:/opt/module
 scp -r /opt/module/hadoop-2.7.3 root@centos02:/opt/module
 scp -r /opt/module/hadoop-2.7.3 root@centos03:/opt/module
 scp -r /etc/profile root@centos02:/etc/profile
 scp -r /etc/profile root@centos03:/etc/profile
 scp -r /etc/hosts root@centos02:/etc/hosts
  scp -r /etc/hosts root@centos03:/etc/hosts

重启全部虚拟机,主机名生效。

9,格式化

在主节点centos01上面输入格式化命令hdfs namenode -format,格式化集群。

注:如果不是第一次格式化,三台虚拟机都删除/opt/module/hadoop-2.7.3下面的tmp、logs目录:rm –rf /optmodule/hadoop-2.7.3/tmp rm –rf /opt/module/hadoop-2.7.3/logs 注:如果格式化之前启动过集群,先在主节点bigdata128上面停止集群(stop-all.sh),再格式化。

10,启动集群

在主节点centos01上面输入启动命令start-all.sh,启动集群。

centos6 hosts不生效_centos_03


输入jps命令

启动正常jps显示3台主机如上如下:

centos6 hosts不生效_第一次作业_04


centos6 hosts不生效_第一次作业_05


centos6 hosts不生效_centos6 hosts不生效_06


在Windows浏览器中访问网址http://192.168.233.128:50070,显示如下(在Windows中需要配置hosts文件,需添加

192.168.233.128 centos01
192.168.233.131 centos02
192.168.233.132 centos03

centos6 hosts不生效_centos_07


centos6 hosts不生效_centos_08