前言:

我们可以通过Hadoop jar的命令来实现我们的程序jar包的运行，关于运行的日志，我们一般都需要通过启动一个服务来进行查看，就是我们的JobHistoryServer，我们可以启动一个进程，专门用于查看我们的任务提交的日志

  • 以下的操作都是在主节点(服务器)中

第一步：node01修改mapred-site.xml

 1.进入到hadoop配置文件目录     hadoop安装目录/etc/hadoop
 2.vim 编辑文件  vim mapred-site.xml
  • 将以下内容添加进<configuration>标签中
	<property>
		<name>mapreduce.jobhistory.address</name>
		<value>node01:10020</value>
	</property>

	<property>
		<name>mapreduce.jobhistory.webapp.address</name>
		<value>node01:19888</value>
	</property>

第二步：node01修改yarn-site.xml

 1.进入到hadoop配置文件目录     hadoop安装目录/etc/hadoop
 2.vim 编辑文件  vim yarn-site.xml
  • 将以下内容添加进<configuration>标签中
	<property>
		<name>yarn.log-aggregation-enable</name>
		<value>true</value>
	</property>
	<property>
		<name>yarn.log-aggregation.retain-seconds</name>
		<value>604800</value>
	</property>
	<!--指定文件压缩类型用于压缩汇总日志-->
	<property>
	        <name>yarn.nodemanager.log-aggregation.compression-type</name>
	        <value>gz</value>
	</property>
	<!-- nodemanager本地文件存储目录-->
	<property>
	        <name>yarn.nodemanager.local-dirs</name>
	        <value>/export/servers/hadoop-2.6.0/yarn/local</value>
	</property>
	<!-- resourceManager  保存最大的任务完成个数 -->
	<property>
	        <name>yarn.resourcemanager.max-completed-applications</name>
	        <value>1000</value>
	</property>

第三步：修改后的文件分发到其他机器上面去

  • 将主节点修改后的mapred-site.xml和yarn-site.xml分发到其他机器上面去
  • 在主节点执行以下命令
1.	 进入到hadoop配置文件目录     hadoop安装目录/etc/hadoop
2.   scp mapred-site.xml  yarn-site.xml 其他节点IP:$PWD

第四步：重启yarn集群以及启动jobHistoryServer进程

  • 在主节点执行以下命令重启yarn集群
1.cd 到hadoop的安装目录
2.执行关闭命令	sbin/stop-yarn.sh
3.执行开启命令	sbin/start-yarn.sh
  • 启动jobhistoryserver
sbin/mr-jobhistory-daemon.sh start historyserver

第五步：页面访问jobhistoryserver

http://主节点IP:19888/jobhistory
MapReduce的jobHistory(工作日志)介绍_xml

大功告成!!!