|NO.Z.00014|——————————|^^ 部署 ^^|——|Hadoop&Hadoop核心框架.V14|——|Hadoop.v14|历史日志服务配置|

一、[Hadoop完全分布式集群搭建之历史日志服务器配置]    

### --- 在Yarn中运行的任务产生的日志数据不能查看，

~~~     为了查看程序的历史运行情况，需要配置一下历史日志服务器。具体配置步骤如下：

### --- 配置mapred-site.xml

[root@linux121 hadoop]# pwd
/opt/yanqi/servers/hadoop-2.9.2/etc/hadoop

[root@linux121 hadoop]$ vi mapred-site.xml
<!-- 历史服务器端地址 -->
<property>
        <name>mapreduce.jobhistory.address</name>
        <value>linux121:10020</value>
</property>
<!-- 历史服务器web端地址 -->
<property>
        <name>mapreduce.jobhistory.webapp.address</name>
        <value>linux121:19888</value>
</property>

### --- 分发mapred-site.xml到其它节点

[root@linux121 hadoop]# rsync-script mapred-site.xml

### --- 启动历史服务器

[root@linux121 hadoop-2.9.2]# pwd
/opt/yanqi/servers/hadoop-2.9.2
[root@linux122 hadoop-2.9.2]# sbin/mr-jobhistory-daemon.sh start historyserver

### --- 查看历史服务器是否启动

[root@linux121 hadoop-2.9.2]# jps
20786 JobHistoryServer
19029 NameNode
19157 DataNode
19662 NodeManager

二、查看JobHistory：http://linux121:19888/jobhistory

三、配置日志的聚集

### --- 日志聚集

~~~     日志聚集：应用(Job)运行完成以后，将应用运行日志信息从各个task汇总上传到HDFS系统上。
~~~     日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
~~~     注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

四、开启日志聚集功能具体步骤如下：

### --- 配置yarn-site.xml

[root@linux121 hadoop]# pwd
/opt/yanqi/servers/hadoop-2.9.2/etc/hadoop

[root@linux121 hadoop]# vim yarn-site.xml
<!--指定yarn.log.server.url所在节点-->
    <property>
        <name>yarn.log.server.url</name>
        <value>http://linux121:19888/jobhistory/logs</value>
    </property>
<!-- 日志聚集功能使能 -->
<property>
        <name>yarn.log-aggregation-enable</name>
        <value>true</value>
</property>
<!-- 日志保留时间设置7天 -->
<property>
        <name>yarn.log-aggregation.retain-seconds</name>
        <value>604800</value>
</property>

### --- 分发yarn-site.xml到集群其它节点

[root@linux121 hadoop]# rsync-script yarn-site.xml

### --- 关闭NodeManager 、ResourceManager和HistoryManager

[root@linux121 hadoop-2.9.2]# sbin/yarn-daemon.sh stop resourcemanager
[root@linux121 hadoop-2.9.2]# sbin/yarn-daemon.sh stop nodemanager
[root@linux121 hadoop-2.9.2]# sbin/mr-jobhistory-daemon.sh stop historyserver

### --- 启动NodeManager 、ResourceManager和HistoryManager

[root@linux121 hadoop-2.9.2]# sbin/yarn-daemon.sh start resourcemanager
[root@linux121 hadoop-2.9.2]# sbin/yarn-daemon.sh start nodemanager
[root@linux121 hadoop-2.9.2]# sbin/mr-jobhistory-daemon.sh start historyserver

### --- 删除HDFS上已经存在的输出文件

[root@linux121 hadoop-2.9.2]# bin/hdfs dfs -rm -R /wcoutput
Deleted /wcoutput

### --- 执行WordCount程序

[root@linux121 hadoop-2.9.2]# hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.9.2.jar wordcount /wcinput /wcoutput

五、查看日志，如图所示：http://linux121:19888/jobhistory

六、cluster.history：http://linux121:8088/cluster

---

 

 

 

 

 

 

 

 

 

---

Walter Savage Landor:strove with none,for none was worth my strife.Nature I loved and, next to Nature, Art:I warm'd both hands before the fire of life.It sinks, and I am ready to depart

                                                                                                                                                   ——W.S.Landor

---