日志聚集概念：应用运行完成以后，将程序运行日志信息上传HDFS系统上。
开启日志聚集功能，需要重新启动NodeManager、ResourceManager和HistoryServer。

1 yarn-site.xml配置

  1. [root@hadoop102 hadoop]# vim yarn-site.xml

添加：

  1. <!-- 开启日志聚集功能 -->
  2. <property>
  3.   <name>yarn.log-aggregation-enable</name>
  4.   <value>true</value>
  5. </property>
  6. <!-- 设置日志聚集服务器地址 -->
  7. <property>  
  8.   <name>yarn.log.server.url</name>  
  9.   <value>http://hadoop102:19888/jobhistory/logs</value>
  10. </property>
  11. <!-- 设置日志保留时间为7天 -->
  12. <property>
  13.   <name>yarn.log-aggregation.retain-seconds</name>
  14.   <value>604800</value>
  15. </property>

分发

  1. [root@hadoop102 hadoop]# xsync yarn-site.xml

重启yarn相关服务

image.png

  1. [root@hadoop103 ~]# cd /opt/module/hadoop-3.1.3/
  2. [root@hadoop103 hadoop-3.1.3]# sbin/stop-yarn.sh
  1. [root@hadoop103 hadoop-3.1.3]# sbin/start-yarn.sh
  1. [root@hadoop102 hadoop-3.1.3]# mapred --daemon start historyserver