RMWebUI与HistoryServer

  1. 前期一直不理解RMWebUI和HistoryServer中为什么都有application的信息

  2. Yarn是作为一个资源调度的框架来使用，MR和Spark是作为计算框架来使用

  3. 所以Yarn的History保存的是Yarn自己关注的,如这个任务分配了多少内存、在哪个队列运行等等

image.png

  1. MR和Spark也是需要记录自己任务的每个task运行的情况，所以都会保存在自己的HistoryServer中

image.png