1 配置历史服务器

为了查看程序的历史运行情况，需要配置一下历史服务器。具体配置步骤如下：

1.1 配置mapred-site.xml

  1. <!-- 历史服务器端地址 -->
  2. <property>
  3.         <name>mapreduce.jobhistory.address</name>
  4.         <value>hadoop102:10020</value>
  5. </property>
  7. <!-- 历史服务器web端地址 -->
  8. <property>
  9.     <name>mapreduce.jobhistory.webapp.address</name>
  10.     <value>hadoop102:19888</value>
  11. </property>

1.2 启动历史服务器

  1. [hadoop@hadoop102 ~]$ mr-jobhistory-daemon.sh start historyserver

1.3 查看历史服务器是否启动

JobHistoryServer 就是开启的历史服务器的进程

image.png

1.4 网页端查看JobHistory

http://hadoop102:19888/jobhistory

image.png

2 配置日志的聚集

日志聚集概念：应用运行完成以后，将程序运行日志信息上传到HDFS系统上。
日志聚集功能好处：可以方便的查看到程序运行详情，方便开发调试。
注意：开启日志聚集功能，需要重新启动NodeManager 、ResourceManager和HistoryManager。

开启日志聚集功能具体步骤如下：

1.1 配置yarn-site.xml

  1. [hadoop@hadoop102 hadoop]$ vim yarn-site.xml

在该文件里面增加如下配置:

  1. <!-- 日志聚集功能使能 -->
  2. <property>
  3. <name>yarn.log-aggregation-enable</name>
  4. <value>true</value>
  5. </property>
  7. <!-- 日志保留时间设置7天 -->
  8. <property>
  9. <name>yarn.log-aggregation.retain-seconds</name>
  10. <value>604800</value>
  11. </property>

分发配置文件

  1. [hadoop@hadoop102 hadoop]$ xsync yarn-site.xml

1.2 关闭NodeManager 、ResourceManager和HistoryManager

  1. [hadoop@hadoop103 hadoop-2.7.2]$ stop-yarn.sh
  3. [hadoop@hadoop102 hadoop]$ mr-jobhistory-daemon.sh stop historyserver

1.3 启动NodeManager 、ResourceManager和HistoryManager

  1. [hadoop@hadoop103 hadoop-2.7.2]$ start-yarn.sh
  3. [hadoop@hadoop102 hadoop]$ mr-jobhistory-daemon.sh start historyserver

1.4 上传测试文件至HDFS上的文件

  1. 1.创建一个input文件夹
  2. [hadoop@hadoop102 hadoop-2.7.2]$ hadoop fs -mkdir -p /user/abes/input                                                     
  3. 2.本地创建测试文件
  4. [hadoop@hadoop102 hadoop-2.7.2]$ mkdir wcinput
  5. [hadoop@hadoop102 hadoop-2.7.2]$ cd wcinput/
  6. [hadoop@hadoop102 wcinput]$ vim wc.input
  7. hadoop hdfs
  8. hadoop mapreduce
  9. abes
  10. abes
  12. 3.上传测试文件到input
  13. [hadoop@hadoop102 hadoop-2.7.2]$ hdfs dfs -put wcinput/wc.input /user/abes/input

1.5 执行WordCount程序

  1. 使用MR程序运行测试文件
  2. [hadoop@hadoop102 hadoop-2.7.2]$ hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-2.7.2.jar wordcount /user/abes/input /user/abes/output

1.6 查看日志，如图所示

http://hadoop102:19888/jobhistory

image.png
image.png