日志聚集:将程序运行的log文件(日志信息),上传到HDFS系统上,可以通过网页浏览

注意:开启日志聚集功能 ,需要重新启动 NodeManager, ResourceManager, HistoryManager

sbin/mr-jobhistory-daemon.sh stop historyserver
sbin/yarn-daemon.sh stop nodemanager
sbin/yarn-daemon.sh stop resourcemanager

cd /opt/module/hadoop-2.9.2

sudo vim etc/hadoop/yarn-site.xml

在<configuration></configuration>中间加入下面内容

<!-- 日志聚集功能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<!-- 日志保留时间设置 7 天 -->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

启动集群:

sbin/yarn-daemon.sh start nodemanager
sbin/yarn-daemon.sh start resourcemanager
sbin/mr-jobhistory-daemon.sh start historyserver

删除输出文件夹:

bin/hdfs dfs -rm -r /user/atguigu/output

hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /user/atguigu/input /user/atguigu/output

查看logs

Hadoop伪分布式 => 配置日志聚集_Hadoop

Hadoop伪分布式 => 配置日志聚集_配置日志聚集_02