在HadoopMaster中配置主机名 hadoop secondarynamenode配置

30-hadoop-集群配置（入门）:

1）集群部署规划

注意：

➢ NameNode 和 SecondaryNameNode 不要安装在同一台服务器

➢ ResourceManager 也很消耗内存，不要和 NameNode、SecondaryNameNode 配置在

同一台机器上。

	hadoop102	hadoop103	hadoop104
HDFS	NameNode DataNode	DataNode	SecondaryNameNode DataNode
YARN	NodeManager	ResourceManager NodeManager	NodeManager

2）配置文件说明

Hadoop 配置文件分两类：默认配置文件和自定义配置文件，只有用户想修改某一默认

配置值时，才需要修改自定义配置文件，更改相应属性值。

（1）默认配置文件：

（2）自定义配置文件：

core-site.xml、hdfs-site.xml、yarn-site.xml、mapred-site.xml 四个配置文件存放在

$HADOOP_HOME/etc/hadoop 这个路径上，用户可以根据项目需求重新进行修改配置。

[root@hadoop102 hadoop]# pwd
/opt/module/hadoop-3.1.3/etc/hadoop

3）、配置集群

（1）核心配置文件

[root@hadoop102 hadoop]# vim core-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- 指定 NameNode 的地址 -->
	<property>
		<name>fs.defaultFS</name>
		<value>hdfs://hadoop102:8020</value>
	</property>
	<!-- 指定 hadoop 数据的存储目录 -->
	<property>
		<name>hadoop.tmp.dir</name>
		<value>/opt/module/hadoop-3.1.3/data</value>
	</property>
	<!-- 配置 HDFS 网页登录使用的静态用户为 atguigu -->
	<property>
		<name>hadoop.http.staticuser.user</name>
		<value>atguigu</value>
	</property>
</configuration>

（2）HDFS 配置文件

[root@hadoop102 hadoop]# vim hdfs-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- nn web 端访问地址-->
	<property>
		<name>dfs.namenode.http-address</name>
		<value>hadoop102:9870</value>
	</property>
	<!-- 2nn web 端访问地址-->
	<property>
		<name>dfs.namenode.secondary.http-address</name>
		<value>hadoop104:9868</value>
	</property>
</configuration>

（3）YARN 配置文件

[root@hadoop102 hadoop]# vim yarn-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- 指定 MR 走 shuffle -->
	<property>
		<name>yarn.nodemanager.aux-services</name>
		<value>mapreduce_shuffle</value>
	</property>
	<!-- 指定 ResourceManager 的地址-->
	<property>
		<name>yarn.resourcemanager.hostname</name>
		<value>hadoop103</value>
	</property>
	<!-- 环境变量的继承 -->
	<property>
		<name>yarn.nodemanager.env-whitelist</name>
		<value>JAVA_HOME,HADOOP_COMMON_HOME,HADOOP_HDFS_HOME,HADOOP_CO
		NF_DIR,CLASSPATH_PREPEND_DISTCACHE,HADOOP_YARN_HOME,HADOOP_MAP
		RED_HOME</value>
	</property>
</configuration>

（4）MapReduce 配置文件

[root@hadoop102 hadoop]# vim mapred-site.xml

<?xml version="1.0" encoding="UTF-8"?>
<?xml-stylesheet type="text/xsl" href="configuration.xsl"?>
<configuration>
	<!-- 指定 MapReduce 程序运行在 Yarn 上 -->
	<property>
		<name>mapreduce.framework.name</name>
		<value>yarn</value>
	</property>
</configuration>

4）在集群上分发配置好的 Hadoop 配置文件

[root@hadoop102 etc]# pwd
/opt/module/hadoop-3.1.3/etc
[root@hadoop102 etc]# xsync hadoop/

5）去 103 和 104 上查看文件分发情况

[root@hadoop103 hadoop]# pwd
/opt/module/hadoop-3.1.3/etc/hadoop

起集群并测试：

群起集群

1）配置 workers

[root@hadoop102 hadoop]# pwd
/opt/module/hadoop-3.1.3/etc/hadoop

在该文件中增加如下内容：

hadoop102

hadoop103

hadoop104

注意：该文件中添加的内容结尾不允许有空格，文件中不允许有空行。

同步所有节点配置文件

[root@hadoop102 hadoop]# xsync workers

2）启动集群

（1）如果集群是第一次启动，需要在 hadoop102 节点格式化 NameNode（注意：格式

化 NameNode，会产生新的集群 id，导致 NameNode 和 DataNode 的集群 id 不一致，集群找

不到已往数据。如果集群在运行过程中报错，需要重新格式化 NameNode 的话，一定要先停

止 namenode 和 datanode 进程，并且要删除所有机器的 data 和 logs 目录，然后再进行格式

化。）

初始化：

[root@hadoop102 hadoop-3.1.3]# hdfs namenode -format

启动集群的一些命令

在sbin目录下执行./start-dfs.sh命令启动Hadoop时，报如下ERROR：

解决方法：
在start-dfs.sh，stop-dfs.sh文件添加：

HDFS_DATANODE_USER=root
HADOOP_SECURE_DN_USER=hdfs
HDFS_NAMENODE_USER=root
HDFS_SECONDARYNAMENODE_USER=root

start-yarn.sh，stop-yarn.sh添加：

#!/usr/bin/env bash
YARN_RESOURCEMANAGER_USER=root
HADOOP_SECURE_DN_USER=yarn
YARN_NODEMANAGER_USER=root
在sbin目录下重新执行 ./start-all.sh，即可启动

在hadoop102上查看

在hadoop103上查看

在hadoop104上查看

（2）启动 HDFS

[root@hadoop102 hadoop-3.1.3]$ sbin/start-dfs.sh

（3）在配置了 ResourceManager **的节点（**hadoop103）启动 YARN

[root@hadoop103 hadoop-3.1.3]$ sbin/start-yarn.sh

（4）Web 端查看 HDFS 的 NameNode

（a）浏览器中输入：http://hadoop102:9870

（b）查看 HDFS 上存储的数据信息

（5）Web 端查看 YARN 的 ResourceManager

（a）浏览器中输入：http://hadoop103:8088

（b）查看 YARN 上运行的 Job 信息

3**）集群基本测试**

（1）上传文件到集群

创建文件路径：[root@hadoop102 hadoop-3.1.3]# hadoop fs -mkdir /wcinput

上传小文件并且查看

[root@hadoop102 hadoop-3.1.3]# hadoop fs -put wcinput/word.txt /wcinput

上传大文件测试并且页面查看

[root@hadoop102 hadoop-3.1.3]# hadoop fs -put /opt/software/jdk-8u212-linux-x64.tar.gz /wcinput

真实存储数据位置：

[root@hadoop102 subdir0]# pwd
/opt/module/hadoop-3.1.3/data/dfs/data/current/BP-1004075767-192.168.74.102-1615518894409/current/finalized/subdir0/subdir0

查看 HDFS 在磁盘存储文件内容

（3）拼接

[root@hadoop102 subdir0]# cat blk_1073741826 >> tmp.tar.gz

[root@hadoop102 subdir0]# cat blk_1073741827 >> tmp.tar.gz

[root@hadoop102 subdir0]# tar -zxvf tmp.tar.gz

其他服务器上也有备份

（4）下载

[atguigu@hadoop104 software]$ hadoop fs -get /jdk-8u212-linux

x64.tar.gz ./

（5）执行 wordcount 程序

[root@hadoop102 wcouput]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /wcinput /wcouput

hadoop-集群崩溃处理办法(入门)：

手动创建集群问题

删除所有服务器上的data数据。页面上的数据将无法下载。

[root@hadoop103 hadoop-3.1.3]# rm -rf data logs

（做破坏，尝试）停止集群

关闭yarn：[root@hadoop103 hadoop-3.1.3]# sbin/stop-yarn.sh

关闭dfs：[root@hadoop102 hadoop-3.1.3]# sbin/stop-dfs.sh

启动集群：[root@hadoop102 hadoop-3.1.3]# sbin/start-dfs.sh

格式化：[root@hadoop102 hadoop-3.1.3]# hdfs namenode -format

依旧无法使用：

处理方式：

1、关闭所有进程：[root@hadoop102 hadoop-3.1.3]# sbin/stop-dfs.sh

2、删除每个服务器上的data和logs：

[root@hadoop102 hadoop-3.1.3]# rm -rf data/ logs/

[root@hadoop103 hadoop-3.1.3]# rm -rf data/ logs/

[root@hadoop104 hadoop-3.1.3]# rm -rf data/ logs/

3、格式化：[root@hadoop102 hadoop-3.1.3]# hdfs namenode -format

4、启动集群：[root@hadoop102 hadoop-3.1.3]# sbin/start-dfs.sh

hadoop-配置历史服务器：

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

1、配置 mapred-site.xml

[root@hadoop102 hadoop]$ vim mapred-site.xml

在该文件里面增加如下配置。

<!-- 历史服务器端地址 -->
<property>
	<name>mapreduce.jobhistory.address</name>
	<value>hadoop102:10020</value>
</property>
<!-- 历史服务器 web 端地址 -->
<property>
	<name>mapreduce.jobhistory.webapp.address</name>
	<value>hadoop102:19888</value>
</property>

2、分发配置

[root@hadoop102 hadoop]# xsync mapred-site.xml

3、在 hadoop102 启动历史服务器

[root@hadoop102 hadoop-3.1.3]# bin/mapred --daemon start historyserver

4、查看 JobHistory

http:192.168.74.102:19888/jobhistory

5、测试

[root@hadoop102 hadoop-3.1.3]# hadoop fs -mkdir /input

[root@hadoop102 hadoop-3.1.3]# hadoop fs -put wcinput/word.txt /input

[root@hadoop102 hadoop-3.1.3]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output

hadoop-日志聚集功能配置：

配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到 HDFS 系统上。

日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。

注意：开启日志聚集功能，需要重新启动 NodeManager 、ResourceManager 和

HistoryServer。

1、配置 yarn-site.xml

[root@hadoop102 hadoop]# pwd
/opt/module/hadoop-3.1.3/etc/hadoop
[root@hadoop102 hadoop]# vim yarn-site.xml

2、分发配置

[root@hadoop102 hadoop]# xsync yarn-site.xml

3、关闭 NodeManager **、**ResourceManager 和 HistoryServer

关闭历史服务器：

[root@hadoop102 hadoop]# jps
7714 Jps
5715 NameNode
6291 NodeManager
6630 JobHistoryServer
5913 DataNode

[root@hadoop102 hadoop]# mapred --daemon stop historyserver
[root@hadoop102 hadoop]# jps
7889 Jps
5715 NameNode
6291 NodeManager
5913 DataNode

关闭yarn

[root@hadoop103 hadoop-3.1.3]# sbin/stop-yarn.sh

启用yarn（修改了yarn的配置文件）

[root@hadoop103 hadoop-3.1.3]# sbin/start-yarn.sh

启动历史服务器：

[root@hadoop102 hadoop]# mapred --daemon start historyserver

创建任务：

[root@hadoop102 hadoop-3.1.3]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.1.3.jar wordcount /input /output2

查看日志：