(1)开启YARN的历史查看功能
sbin/mr-jobhistory-daemon.sh start historyserver
用jps查看 多了一个JobHistoryServer
启动之后点击History就能查看了
(2)Aggregation 日志的聚集功能 (将应用运行完成后的日志信息 上传到hdfs文件系统上)
在yarn-site.xml中添加属性:
<!--日志聚集 -->
<property>
<name>yarn.log-aggregation-enable</name>
<value>true</value>
</property>
<!-- 日志信息保存在文件系统上的最长时间 秒为单位-->
<property>
<name>yarn.log-aggregation.retain-seconds</name>
<value>640800</value>
</property>
重启YARN和 YARN的历史查看功能
1)停止resourcemanager: sbin/yarn-daemon.sh stop resourcemanager
2)停止nodemanager:sbin/yarn-daemon.sh stop nodemanager
3)停止historyserver : sbin/mr-jobhistory-daemon.sh stop historyserver
4)jps查看 已经没有这几个进程
5)再启动
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager
sbin/mr-jobhistory-daemon.sh start historyserver
6)重新运行一个任务 上边配置的日志聚集功能就生效了
bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /user/root/mapreduce/wordcount/input /user/root/wordcount/output2
output已经存在 所以这里用的是output2
7)运行完成之后 日志聚集功能已经将本地日志同步到hsfs上了 比如按照下边步骤查看一个日志文件::
a.
b.
c.
d.