hadoop 中配置历史服务日志聚集

原创

塞上江南o 2022-12-28 15:22:59 博主文章分类：Hadoop ©著作权

文章标签 大数据 hadoop Server xml 文章分类 运维

©著作权归作者所有：来自51CTO博客作者塞上江南o的原创作品，请联系作者获取转载授权，否则将追究法律责任

💛配置历史服务

目的

配置历史服务后你会清楚地了解到集群中有几个Map Task，有几个Reduce Task, 任务什么时候提交了，什么启动了，什么时候完成了

配置过程

打开配置文件mapred-site.xml

<!-- 配置 MapReduce JobHistory Server 地址 ，默认端口10020 -->
<property>
    <name>mapreduce.jobhistory.address</name>
    <value>hadoop201:10020</value>
</property>

<!-- 历史服务器web端地址 -->
<!-- 配置 MapReduce JobHistory Server web ui 地址， 默认端口19888 -->
<property>
    <name>mapreduce.jobhistory.webapp.address</name>
    <value>hadoop201:19888</value>
</property>

启动分布式集群

sbin/start-dfs.sh

启动历史服务器

sbin/mr-jobhistory-daemon.sh start historyserver

注意：jobhistoryserver需单独启动

jps查看

看到JobHistoryServer代表配置成功

ubuntu@ubuntu01:/opt/moudles/hadoop-2.9.2$ jps
6018 NameNode
6150 DataNode
6892 Jps
6364 SecondaryNameNode
6845 JobHistoryServer

💛配置日志聚集

目的

应用运行完成以后，将程序运行日志信息上传到HDFS系统上

配置过程

打开配置文件 yarn-site.xml

其中添加

<!-- 日志聚集功能使能 -->
<property>
    <name>yarn.log-aggregation-enable</name>
    <value>true</value>
</property>

<!-- 日志保留时间设置7天即604800秒-->
<property>
    <name>yarn.log-aggregation.retain-seconds</name>
    <value>604800</value>
</property>

<!-- 任务历史服务 -->
<property> 
    <name>yarn.log.server.url</name> 
    <value>http://hadoop201:19888/jobhistory/logs/</value> 
</property>