Yarn任务提交(工作机制)

缩减版（详见讲义）

1. 作业提交
   1. Client调用job.waitForCompletion方法，向整个集群提交MapReduce作业。
   2. Client提交完资源后，向RM申请运行MrAppMaster。
2. 作业初始化
   1. 当RM收到Client的请求后，将该job添加到容量调度器中。（resource manager）
   2. 空闲的NM创建Container，并产生MRAppmaster。 （node manager）
3. 任务分配
   1. MrAppMaster向RM申请运行多个MapTask任务资源
   2. RM将运行MapTask任务分配给另外两个NodeManager，另两个NodeManager分别领取任务并创建容器。
4. 任务运行
   1. NodeManager 分别启动MapTask，MapTask对数据分区排序。
   2. MrAppMaster等待所有MapTask运行完毕后，向RM申请容器，运行ReduceTask。
   3. ReduceTask向MapTask获取相应分区的数据。
   4. 注销

Yarn调度策略

1. FIFO(先进先出调度器)

缺点：任务的优先级只是按照时间来排列，不够灵活

2. 容量调度器（Capacity Scheduler 默认的调度器）

• 为每个组织分配专门的队列，占有不同比例的集群资源比
• 组织内部实行FIFO分配制度

3. Fair Scheduler（公平调度器，CDH版本的hadoop默认使用的调度器）

假设有两个用户A和B，他们分别拥有一个队列。
当A启动一个job而B没有任务时，A会获得全部集群资源；
当B启动一个job后，A的job会继续运行，不过一会儿之后两个任务会各自获得一半的集群资源。如果此时B再启动第二个job并且其它job还在运行，则它将会和B的第一个job共享B这个队列的资源，也就是B的两个job会用于四分之一的集群资源，而A的job仍然用于集群一半的资源，结果就是资源最终在两个用户之间平等的共享