yarn升版 yarn.log-aggregation-enable

转载

mob64ca140d2323 2024-06-25 15:32:32

文章标签 yarn升版 hadoop yarn xml mapreduce 文章分类 Yarn 大数据

前提

搭建Hadoop2.7.3

配置

Yarn架构配置

【mapred-site.xml.temple配置】	
先重命名为mapred-site.xml
<configuration>
	<property>
        <name>mapreduce.framework.name</name>
        <value>yarn</value> # 指定mapreduce基于yarn运行
    </property>
</configuration>


【yarn-site.xml配置】
<configuration>
    <property>
        <name>yarn.nodemanager.aux-services</name>
        <value>mapreduce_shuffle</value> # 指定mapreduce的时候使用shuffle过程
    </property>
	<property>
        <name>yarn.resourcemanager.hostname</name>
        <value>dong-01.cym.com</value> # 指定resourcemanager所在服务器主机名
    </property>
</configuration>

启动：
sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager

本地访问：dong.cym.com:8088

1. 将mapred-site.xml.template拷贝一份

yarn升版 yarn.log-aggregation-enable_mapreduce

yarn升版 yarn.log-aggregation-enable_mapreduce_02

2.配置mapred-site.xml

yarn升版 yarn.log-aggregation-enable_yarn升版_03

3.配置yarn-site.xml

yarn升版 yarn.log-aggregation-enable_hadoop_04

4.启动

sbin/yarn-daemon.sh start resourcemanager
sbin/yarn-daemon.sh start nodemanager

yarn升版 yarn.log-aggregation-enable_yarn_05

5.本地访问（主机名:8088）

yarn升版 yarn.log-aggregation-enable_yarn_06

测试（使用yarn跑任务，使用官方案例jar包）

yarn升版 yarn.log-aggregation-enable_yarn_07

1.统计词频案例执行

bin/yarn jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.3.jar wordcount /test.txt /output

yarn升版 yarn.log-aggregation-enable_yarn_08

yarn升版 yarn.log-aggregation-enable_yarn_09

2.查看结果

yarn升版 yarn.log-aggregation-enable_xml_10

yarn升版 yarn.log-aggregation-enable_xml_11

yarn升版 yarn.log-aggregation-enable_yarn_12

yarn升版 yarn.log-aggregation-enable_yarn_13

配置日志文件（日志聚合）

【MapReduce historyserver】
1、历史服务器：查看已经运行完成的应用记录
		修改mapred-site.xml
		指定historyserver的地址，内部和外部通信端口号，如果不指定默认是本机
		historyserver是一个轻量级的服务，可以部署在任意一台节点上
2、配置（在mapred-site.xml中）：
	注意：这里的端口号不能随便修改
	<property>
	  <name>mapreduce.jobhistory.address</name>
	  <value>bigdata-04:10020</value>
	</property>
	<property>
	  <name>mapreduce.jobhistory.webapp.address</name>
	  <value>bigdata-04:19888</value>	  
	</property>

启动：sbin/mr-jobhistory-daemon.sh start historyserver
【日志聚合功能】
1、修改yarn-site.xml
	指定开启聚合功能
	指定日志存放在HDFS上的时间期限，一般建议3-7天左右，存放在HDFS的/tmp/用户之下
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>106800</value>
	</property> 
2、重启yarn进程

yarn升版 yarn.log-aggregation-enable_hadoop_14