(4)Hadoop YARN 的 历史查看_mapreduce

(1)开启YARN的历史查看功能

    sbin/mr-jobhistory-daemon.sh start historyserver   

    用jps查看 多了一个JobHistoryServer

    启动之后点击History就能查看了

(2)Aggregation  日志的聚集功能 (将应用运行完成后的日志信息 上传到hdfs文件系统上)

   在yarn-site.xml中添加属性:

<!--日志聚集  -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>
<!-- 日志信息保存在文件系统上的最长时间  秒为单位-->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>640800</value>

</property>

重启YARN和  YARN的历史查看功能

1)停止resourcemanager: sbin/yarn-daemon.sh stop resourcemanager

2)停止nodemanager:sbin/yarn-daemon.sh stop nodemanager

3)停止historyserver  : sbin/mr-jobhistory-daemon.sh stop historyserver

4)jps查看 已经没有这几个进程 

5)再启动

sbin/yarn-daemon.sh start resourcemanager

sbin/yarn-daemon.sh start nodemanager

sbin/mr-jobhistory-daemon.sh  start historyserver

6)重新运行一个任务 上边配置的日志聚集功能就生效了

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.5.0-cdh5.3.6.jar wordcount /user/root/mapreduce/wordcount/input /user/root/wordcount/output2

output已经存在 所以这里用的是output2

7)运行完成之后  日志聚集功能已经将本地日志同步到hsfs上了  比如按照下边步骤查看一个日志文件::

a.

(4)Hadoop YARN 的 历史查看_mapreduce_02

b.

(4)Hadoop YARN 的 历史查看_文件系统_03

c.

(4)Hadoop YARN 的 历史查看_文件系统_04

d.(4)Hadoop YARN 的 历史查看_hadoop_05