Yarn核心参数配置案例

学习用的虚拟机中，修改核心参数前尽量先拍摄一个虚拟机快照，方便后面恢复成原始状态进行其他配置

例如：从 1G 数据中，统计每个单词出现次数。

服务器：3台，每台4G内存，每台4核4线程的CPU

分析：

1G / 128M（切片大小） = 8 个MapTask；

统计单词个数，可以输出到一个结果文件，即 1 个ReduceTask；

统计单词个数只需要一个MapReduce任务，所以 MRAppMaster 1个；

共计需要 8 + 1 + 1 = 10 个Container。

平均每个 NodeManager 需要运行 ： 10个 / 3 台 = 3 个任务（4 / 3 / 3）

修改yarn-site.xml配置：

  1. <property>
  2.   <!-- 选择调度器，例如容量调度器 -->
  3.   <description>The class to use as the resource scheduler.</description>
  4.   <name>yarn.resourcemanager.scheduler.class</name>
  5.   <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.capacity.CapacityScheduler</value>
  6. </property>
  8. <property>
  9.   <!-- ResourceManager处理器调度器请求的线程数量，默认50 -->
  10.   <!-- 如果提交的任务数量大于50，可以增加该值，但是不能超过 3台 * 4线程 = 12 线程（去除其他应用程序，实际上不能超过8） -->
  11.   <description>Number of threads to handle scheduler interface.</description>
  12.   <name>yarn.resourcemanager.scheduler.client.thread-count</name>
  13.   <value>8</value>
  14. </property>
  16. <property>
  17.   <!-- 是否让yarn自动检测硬件进行配置，默认false -->
  18.   <!-- 如果该节点有很多其他应用程序，建议手动配置 -->
  19.   <!-- 如果该节点没有其他应用程序，可以采用自动配置 -->
  20.   <description>Enable auto-detection of node capabilities such as memory and CPU.</description>
  21.   <name>yarn.nodemanager.resource.detect-hardware-capabilities</name>
  22.   <value>false</value>
  23. </property>
  25. <property>
  26.   <!-- 是否将虚拟核数当做cpu核数，默认值false，采用物理核数 -->
  27.   <description>Flag to determine if logical processors(such as
  28.     hyperthreads) should be counted as cores. Only applicable on Linux
  29.     when yarn.nodemanager.resource.cpu-vcores is set to -1 and
  30.     yarn.nodemanager.resource.detect-hardware-capabilities is true.
  31.   </description>
  32.   <name>yarn.nodemanager.resource.count-logical-processors-as-cores</name>
  33.   <value>false</value>
  34. </property>
  36. <property>
  37.   <!-- 虚拟核数和物理核数乘数，默认值1.0 -->
  38.   <!-- 此处我们的服务器时4核4线程，即核数和线程数比值为1.0 -->
  39.   <description>Multiplier to determine how to convert phyiscal cores to
  40.     vcores. This value is used if yarn.nodemanager.resource.cpu-vcores
  41.     is set to -1(which implies auto-calculate vcores) and
  42.     yarn.nodemanager.resource.detect-hardware-capabilities is set to true. The
  43.     number of vcores will be calculated as
  44.     number of CPUs * multiplier.
  45.   </description>
  46.   <name>yarn.nodemanager.resource.pcores-vcores-multiplier</name>
  47.   <value>1.0</value>
  48. </property>
  50. <property>
  51.   <!-- NodeManager使用内存，默认设置的 -1，即不开启硬件检测时默认8G，开启的话自动计算 -->
  52.   <!-- 这里我们服务器是4G，需要调整为4G -->
  53.   <description>Amount of physical memory, in MB, that can be allocated 
  54.     for containers. If set to -1 and
  55.     yarn.nodemanager.resource.detect-hardware-capabilities is true, it is
  56.     automatically calculated(in case of Windows and Linux).
  57.     In other cases, the default is 8192MB.
  58.   </description>
  59.   <name>yarn.nodemanager.resource.memory-mb</name>
  60.   <value>4096</value>
  61. </property>
  63. <property>
  64.   <!-- NodeManager的CPU核数，默认值-1。即不开启硬件检测时默认8，开启的话自动计算-->
  65.   <!-- 此处我们的服务器只有4核4线程 -->
  66.   <description>Number of vcores that can be allocated
  67.     for containers. This is used by the RM scheduler when allocating
  68.     resources for containers. This is not used to limit the number of
  69.     CPUs used by YARN containers. If it is set to -1 and
  70.     yarn.nodemanager.resource.detect-hardware-capabilities is true, it is
  71.     automatically determined from the hardware in case of Windows and Linux.
  72.     In other cases, number of vcores is 8 by default.</description>
  73.     <name>yarn.nodemanager.resource.cpu-vcores</name>
  74.     <value>4</value>
  75.   </property>
  77.     <property>
  78.     <!-- 容器最小内存，默认1G -->
  79.     <description>The minimum allocation for every container request at the RM
  80.     in MBs. Memory requests lower than this will be set to the value of this
  81.     property. Additionally, a node manager that is configured to have less memory
  82.     than this value will be shut down by the resource manager.</description>
  83.     <name>yarn.scheduler.minimum-allocation-mb</name>
  84.     <value>1024</value>
  85.   </property>
  87.     <property>
  88.     <!-- 容器最大内存，默认8G -->
  89.     <!-- 此处我们的服务器只有4G内存，根据前面分析，每台服务器要启动3个容器，所以容器最大内存可以修改为 2G -->
  90.     <description>The maximum allocation for every container request at the RM
  91.     in MBs. Memory requests higher than this will throw an
  92.     InvalidResourceRequestException.</description>
  93.     <name>yarn.scheduler.maximum-allocation-mb</name>
  94.     <value>2048</value>
  95.   </property>
  97.     <property>
  98.     <!-- 容器最小CPU核数，默认1个 -->
  99.     <description>The minimum allocation for every container request at the RM
  100.     in terms of virtual CPU cores. Requests lower than this will be set to the
  101.     value of this property. Additionally, a node manager that is configured to
  102.     have fewer virtual cores than this value will be shut down by the resource
  103.     manager.</description>
  104.     <name>yarn.scheduler.minimum-allocation-vcores</name>
  105.     <value>1</value>
  106.   </property>
  108.     <property>
  109.     <!-- 容器最大CPU核数，默认值4 -->
  110.     <!-- 此处我们的服务器是4核，根据前面分析每台服务器要启动3个容器，所以容器最大CPU核数设置为2个 -->
  111.     <description>The maximum allocation for every container request at the RM
  112.     in terms of virtual CPU cores. Requests higher than this will throw an
  113.     InvalidResourceRequestException.</description>
  114.     <name>yarn.scheduler.maximum-allocation-vcores</name>
  115.     <value>2</value>
  116.   </property>
  118.     <property>
  119.     <!-- 虚拟内存检测，默认打开 -->
  120.     <!-- 如果是 CentOS 7 + JDK 8，建议关闭该检测 -->
  121.     <description>Whether virtual memory limits will be enforced for
  122.     containers.</description>
  123.     <name>yarn.nodemanager.vmem-check-enabled</name>
  124.     <value>false</value>
  125.   </property>
  127.     <property>
  128.     <!-- 虚拟内存和物理内存比例（用作虚拟内存检测的限制），默认值2.1 -->
  129.     <description>Ratio between virtual memory to physical memory when
  130.     setting memory limits for containers. Container allocations are
  131.     expressed in terms of physical memory, and virtual memory usage
  132.     is allowed to exceed this allocation by this ratio.
  133.   </description>
  134.     <name>yarn.nodemanager.vmem-pmem-ratio</name>
  135.     <value>2.1</value>
  136.   </property>

关闭虚拟内存检测的原因：
vmem.jpg
根据yarn.nodemanager.vmem-pmem-ration参数的配置的虚拟内存比例，该参数默认值是 2.1。即如果物理内存是 4G，Hadoop就会认为该节点上存在 8.4 G的虚拟内存的限制：vmemLimit = pmem * vmem-pmem-ration（pmem：物理内存）。

在CentOS 7 + JDK 8时，Linux会为 Java 进程预留一部分虚拟内存（占了很大一部分），供 JDK 使用，但是 JDK 8没有使用这部分，而是使用了剩下的部分（即图上Java堆的部分），就导致浪费了很大的内存。而且因为剩下的这部分内存的量很少，不到4G，就会导致虚拟内存很容易超过了上限，如果实际使用的vmem超过了vmemLimit或者olderThanAge就可能 kill 掉该进程 。

修改yarn-site.xml后，分发到集群所有节点。

实际生产环境中，可能每天服务器节点的配置都不一样，需要为每个节点进行单独配置，不能直接复制分发。

然后重启yarn：

  1. sbin/stop-yarn.sh
  2. sbin/start-yarn.sh

浏览器查看相关配置信息：http://hadoop103:8088
容量调度器多队列提交案例

容量调度器一般在中小型公司中使用。

多队列配置

生产环境配置调度器多队列：

●调度器默认只有1个default队列，不能满足生产要求
●可以按照框架区分多队列，例如创建：hive队列、spark队列、flink队列等，每个框架的任务放入指定的队列（企业里面很少使用这中方式）
●可以按照业务模块区分多队列，例如创建：登录模块队列、购物车队列、下单队列、部门1队列、部门2队列等

创建多队列的优势：

●防止程序中出现递归死循环等代码，把所有的资源全部耗尽
●实现任务的 降级 使用，特殊时期可以保证重要的任务队列资源充足

例如：default队列占总内存 40% ，最大资源容量占总资源 60%（即不够的时候最多可以向其他队列借到60%）；hive队列占总内存60%，最大资源容量占总资源 80%（即不够的时候最多可以向其他队列借到80%）。配置队列的优先级。

配置多队列的容量调度器，在 $HADOOP_HOME/etc/hadoop/capacity-scheduler.xml配置文件中配置。

在 capacity-scheduler.xml中修改配置：

  1. <!-- yarn.scheduler.capacity.root.queues前面的配置项保持默认即可  -->
  3. <property>
  4.   <!-- 为容量调度器root指定多队列，默认值default -->
  5.   <!-- 配置为 default,hive，即增加一个hive队列 -->
  6.   <name>yarn.scheduler.capacity.root.queues</name>
  7.   <value>default,hive</value>
  8.   <description>
  9.     The queues at the this level (root is the root queue).
  10.   </description>
  11. </property>
  13. <property>
  14.   <!-- root调度器下的default队列的内存容量，默认100% -->
  15.   <!-- 根据前面的需求，调整为 40% -->
  16.   <name>yarn.scheduler.capacity.root.default.capacity</name>
  17.   <value>40</value>
  18.   <description>Default queue target capacity.</description>
  19. </property>
  21. <property>
  22.   <!-- hive队列的内存容量，默认没有该队列，需要增加 -->
  23.   <!-- 根据前面的需求，调整为 60% -->
  24.   <name>yarn.scheduler.capacity.root.hive.capacity</name>
  25.   <value>40</value>
  26.   <description>Default queue target capacity.</description>
  27. </property>
  29. <property>
  30.   <!-- default队列中，单个用户最多占用的资源比例，默认1（即可以占用完default队列的所有资源） -->
  31.   <!-- 可以根据实际需求进行调整，防止某一个用户的死循环等操作将整个队列资源全部耗尽 -->
  32.   <name>yarn.scheduler.capacity.root.default.user-limit-factor</name>
  33.   <value>1</value>
  34.   <description>
  35.     Default queue user limit a percentage from 0.0 to 1.0.
  36.   </description>
  37. </property>
  39. <property>
  40.   <!-- hive队列中，单个用户最多占用的资源比例。默认没有该队列，需要自行添加 -->
  41.   <name>yarn.scheduler.capacity.root.default.user-limit-factor</name>
  42.   <value>1</value>
  43.   <description>
  44.     Default queue user limit a percentage from 0.0 to 1.0.
  45.   </description>
  46. </property>
  48. <property>
  49.   <!-- default队列，最大可以占用的资源容量，默认100% -->
  50.   <!-- 根据前面的需求，调整为60%（default队列的资源容量为40%，所以最大可以再向其他队列借调20%） -->
  51.   <name>yarn.scheduler.capacity.root.default.maximum-capacity</name>
  52.   <value>60</value>
  53.   <description>
  54.     The maximum capacity of the default queue. 
  55.   </description>
  56. </property>
  57. <property>
  58.   <!-- hive队列，最大可以占用的资源容量，默认没有该队列，需要自行添加-->
  59.   <name>yarn.scheduler.capacity.root.hive.maximum-capacity</name>
  60.   <value>80</value>
  61.   <description>
  62.     The maximum capacity of the default queue. 
  63.   </description>
  64. </property>
  66. <property>
  67.   <!-- default队列的状态，默认值RUNNING启动，不需要修改 -->
  68.   <name>yarn.scheduler.capacity.root.default.state</name>
  69.   <value>RUNNING</value>
  70.   <description>
  71.     The state of the default queue. State can be one of RUNNING or STOPPED.
  72.   </description>
  73. </property>
  75. <property>
  76.   <!-- hive队列的状态，默认没有该项，需要自行添加 -->
  77.   <name>yarn.scheduler.capacity.root.hive.state</name>
  78.   <value>RUNNING</value>
  79.   <description>
  80.     The state of the default queue. State can be one of RUNNING or STOPPED.
  81.   </description>
  82. </property>
  84. <property>
  85.   <!-- default队列任务提交的acl权限，默认*（即所有用户都可以向该队列进行提交），不需要调整 -->
  86.   <name>yarn.scheduler.capacity.root.default.acl_submit_applications</name>
  87.   <value>*</value>
  88.   <description>
  89.     The ACL of who can submit jobs to the default queue.
  90.   </description>
  91. </property>
  93. <property>
  94.   <!-- hive队列任务提交的acl权限，默认没有该队列，需要自行添加 -->
  95.   <name>yarn.scheduler.capacity.root.hive.acl_submit_applications</name>
  96.   <value>*</value>
  97.   <description>
  98.     The ACL of who can submit jobs to the default queue.
  99.   </description>
  100.   </property>
  102.     <property>
  103.     <!-- default队列操作管理的acl权限，默认*（即所有用户都可以对队列任务进行kill等操作），不需要调整 -->
  104.     <name>yarn.scheduler.capacity.root.default.acl_administer_queue</name>
  105.     <value>*</value>
  106.     <description>
  107.     The ACL of who can administer jobs on the default queue.
  108.   </description>
  109.   </property>
  111.     <property>
  112.     <!-- hive队列操作管理的acl权限，默认没有该队列，需要自行添加 -->
  113.     <name>yarn.scheduler.capacity.root.hive.acl_administer_queue</name>
  114.     <value>*</value>
  115.     <description>
  116.     The ACL of who can administer jobs on the default queue.
  117.   </description>
  118.   </property>
  120.     <property>
  121.     <!-- default队列的提交任务优先级设置的acl权限，默认*（即所有用户都可以设置队列中的优先级），不需要调整 -->
  122.     <name>yarn.scheduler.capacity.root.default.acl_application_max_priority</name>
  123.     <value>*</value>
  124.     <description>
  125.     The ACL of who can submit applications with configured priority.
  126.     For e.g, [user={name} group={name} max_priority={priority} default_priority={priority}]
  127.   </description>
  128.   </property>
  130.     <property>
  131.     <!-- hive队列的提交任务优先级设置的acl权限，默认没有该队列，需要自行添加 -->
  132.     <name>yarn.scheduler.capacity.root.hive.acl_application_max_priority</name>
  133.     <value>*</value>
  134.     <description>
  135.     The ACL of who can submit applications with configured priority.
  136.     For e.g, [user={name} group={name} max_priority={priority} default_priority={priority}]
  137.   </description>
  138.   </property>
  140.     <property>
  141.     <!-- default队列的application能够指定的最大超时时间 -->
  142.     <!-- 如果application指定了超时时间，则提交到该队列的application能够指定的最大超时时间不能超过该值 -->
  143.     <!-- 任务的超时时间设置：yarn application -appId <app_id> -updateLifetime <Timeout>  -->
  144.     <!-- 任务执行时间如果超过了指定的超时时间，将会被kill掉 -->
  145.     <name>yarn.scheduler.capacity.root.default.maximum-application-lifetime
  146.   </name>
  147.     <value>-1</value>
  148.     <description>
  149.     Maximum lifetime of an application which is submitted to a queue
  150.     in seconds. Any value less than or equal to zero will be considered as
  151.     disabled.
  152.     This will be a hard time limit for all applications in this
  153.     queue. If positive value is configured then any application submitted
  154.     to this queue will be killed after exceeds the configured lifetime.
  155.     User can also specify lifetime per application basis in
  156.     application submission context. But user lifetime will be
  157.     overridden if it exceeds queue maximum lifetime. It is point-in-time
  158.     configuration.
  159.     Note : Configuring too low value will result in killing application
  160.     sooner. This feature is applicable only for leaf queue.
  161.   </description>
  162.   </property>
  164.     <property>
  165.     <!-- 默认没有hive队列，需要自行添加 -->
  166.     <name>yarn.scheduler.capacity.root.default.maximum-application-lifetime
  167.   </name>
  168.     <value>-1</value>
  169.     <description>
  170.     Maximum lifetime of an application which is submitted to a queue
  171.     in seconds. Any value less than or equal to zero will be considered as
  172.     disabled.
  173.     This will be a hard time limit for all applications in this
  174.     queue. If positive value is configured then any application submitted
  175.     to this queue will be killed after exceeds the configured lifetime.
  176.     User can also specify lifetime per application basis in
  177.     application submission context. But user lifetime will be
  178.     overridden if it exceeds queue maximum lifetime. It is point-in-time
  179.     configuration.
  180.     Note : Configuring too low value will result in killing application
  181.     sooner. This feature is applicable only for leaf queue.
  182.   </description>
  183.   </property>
  185.     <property>
  186.     <!-- default队列，如果没有为application指定超时时间，则使用 default-application-lifetime 作为默认值 -->
  187.     <name>yarn.scheduler.capacity.root.default.default-application-lifetime
  188.   </name>
  189.     <value>-1</value>
  190.     <description>
  191.     Default lifetime of an application which is submitted to a queue
  192.     in seconds. Any value less than or equal to zero will be considered as
  193.     disabled.
  194.     If the user has not submitted application with lifetime value then this
  195.     value will be taken. It is point-in-time configuration.
  196.     Note : Default lifetime can't exceed maximum lifetime. This feature is
  197.     applicable only for leaf queue.
  198.   </description>
  199.   </property>
  201.     <property>
  202.     <!-- 默认没有hive队列，需要自行添加 -->
  203.     <name>yarn.scheduler.capacity.root.default.default-application-lifetime
  204.   </name>
  205.     <value>-1</value>
  206.     <description>
  207.     Default lifetime of an application which is submitted to a queue
  208.     in seconds. Any value less than or equal to zero will be considered as
  209.     disabled.
  210.     If the user has not submitted application with lifetime value then this
  211.     value will be taken. It is point-in-time configuration.
  212.     Note : Default lifetime can't exceed maximum lifetime. This feature is
  213.     applicable only for leaf queue.
  214.   </description>
  215.   </property>
  217.     <!-- 后面的配置和容量调度器root没有关系，保持默认即可 -->


修改好配置文件后，分发到集群中其他节点。

如果此时Yarn集群正在启动着，可以执行刷新队列配置信息命令，不需要重启集群：

  1. # 刷新Yarn队列配置信息
  2. # yarn rmadmin不能刷新 yarn-site.xml。如果修改了 yarn-site.xml，只能重启Yarn集群
  3. yarn rmadmin -refreshQueues

启动wordcount程序，指定提交的队列：

  1. # 指定提交到hive队列
  2. # -D 运行时改变参数值
  3. hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.3.jar wordcount -D mapreduce.job.queuename=hive /input /output

如果运行的是自己编写的 java 程序，也可以通过configuration对象指定提交的队列：

  1. // 指定提交到hive队列
  2. configuration.set("mapreduce.job.queuename", "hive");

任务优先级配置

容量调度器支持任务优先级的配置，在资源紧张时，优先级高的任务将优先获取资源。

默认情况下，Yarn将所有任务的优先级限制为0，若想使用任务的优先级功能，必须开放该限制。

修改yarn-site.xml，增加参数：

  1. <property>
  2.     <!-- 设置Yarn的任务优先级，默认值0 -->
  3.     <!-- 设置5，表示我们可以有5个优先级：0/1/2/3/4/5，数字越大优先级越高 -->
  4.     <name>yarn.cluster.max-application-priority</name>
  5.     <value>5</value>
  6. </property>

分发到集群其他节点。

重启Yarn集群：

  1. sbin/stop-yarn.sh
  2. sbin/start-yarn.sh

当集群中资源不足出现排队时，可以通过调整任务的优先级达到优先执行的目的：

  1. # 在任务启动时就指定任务的优先级
  2. hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.3.jar wordcount -D mapreduce.job.priority=5 /input /output
  4. # 也可以通过命令修改正在执行的任务的优先级
  5. yarn application -appID <app_id> -updatePriority 5

公平调度器案例

需求：除了默认的default队列，再创建两个队列，分别是 test 和 tengyer（用户所属组）。希望实现以下效果：若用户提交任务时指定队列，则任务提交到指定队列运行；若未指定队列，test用户提交的任务到 root.group.test 队列运行，tengyer用户提交的任务到 root.group.tengyer队列运行（group为用户所属组）。

公平调度器的配置涉及两个文件：一个是 yarn-site.xml，一个是公平调度器队列分配文件 fair-scheduler.xml（文件名可自定义）。

公平调度器在中大型公司中被广泛使用。

修改yarn-site.xml，进行以下配置：

  1. <property>
  2.     <!-- 使用公平调度器 -->
  3.     <name>yarn.resourcemanager.scheduler.class</name>
  4.     <value>org.apache.hadoop.yarn.server.resourcemanager.scheduler.fair.FairScheduler</value>
  5. </property>
  7. <property>
  8.     <!-- 声明公平调度器队列分配的配置文件 -->
  9.     <name>yarn.scheduler.fair.allocation.file</name>
  10.     <value>/opt/module/hadoop-3.2.3/etc/hadoop/fair-scheduler.xml</value>
  11. </property>
  13. <property>
  14.     <!-- 禁止队列间资源抢占 -->
  15.     <name>yarn.scheduler.fair.preemption</name>
  16.     <value>false</value>
  17. </property>

配置 fair-scheduler.xml：

  1. <?xml version="1.0"?>
  2. <allocations>
  3.     <!-- 单个队列中 Application Master占用资源的最大比例，取值 0-1，企业一般配置 0.1 -->
  4.     <queueMaxAMShareDefault>0.5</queueMaxAMShareDefault>
  5.     <!-- 单个队列最大资源的默认值 test tenger default -->
  6.     <queueMaxResourcesDefault>4096mb,4vcores</queueMaxResourcesDefault>
  8.     <!-- 增加一个队列test -->
  9.     <queue name="test">
  10.         <!-- 队列最小资源 -->
  11.         <minResources>2048mb,2vcores</minResources>
  12.         <!-- 队列最大资源 -->
  13.         <maxResources>4096mb,4vcores</maxResources>
  14.         <!-- 队列中最多同时运行的应用数，默认50，根据线程数配置 -->
  15.         <maxRunningApps>4</maxRunningApps>
  16.         <!-- 队列中 Application Master 占用资源的最大比例 -->
  17.         <maxAMShare>0.5</maxAMShare>
  18.         <!-- 该队列资源权重，默认值1.0 -->
  19.         <weight>1.0</weight>
  20.         <!-- 队列内部的资源分配策略 -->
  21.         <schedulingPolicy>fair</schedulingPolicy>
  22.     </queue>
  24.     <!-- 增加一个队列tengyer -->
  25.     <!-- 当type设置为parent时，它会成为父队列 -->
  26.     <queue name="tengyer" type="parent">
  27.         <!-- 队列最小资源 -->
  28.         <minResources>2048mb,2vcores</minResources>
  29.         <!-- 队列最大资源 -->
  30.         <maxResources>4096mb,4vcores</maxResources>
  31.         <!-- 队列中最多同时运行的应用数，默认50，根据线程数配置 -->
  32.         <maxRunningApps>4</maxRunningApps>
  33.         <!-- 队列中 Application Master, maxAMShare只能用于叶子队列，不能用于父队列。所以此处不能配置maxAMShare，否则ResourceMananger启动不了。 -->
  34.         <!--<maxAMShare>0.5</maxAMShare>-->
  35.         <!-- 该队列资源权重，默认值1.0 -->
  36.         <weight>1.0</weight>
  37.         <!-- 队列内部的资源分配策略 -->
  38.         <schedulingPolicy>fair</schedulingPolicy>
  39.     </queue>
  41.     <!-- 任务队列分配策略，可配置多层规则，从第一个规则开始匹配，直到匹配成功 -->
  42.     <queuePlacementPolicy>
  43.         <!-- 任务队列分配策略，如果未指定提交队列，则继续匹配下一个规则；false表示：如果指定队列不存在，不允许自动创建 -->
  44.         <rule name="specified" create="false" />
  45.         <!-- 提交到 root.group.username 队列，若 root.group 不存在，不允许自动创建；若 root.group.user 不存在，允许自动创建 -->
  46.         <rule name="nestedUserQueue" create="true">
  47.             <rule name="primaryGroup" create="false" />
  48.         </rule>
  49.         <!-- 最后一个规则必须是reject或者default。reject表示如果前面的条件都不满足，则拒绝创建队列，提交失败。default表示把任务提交到default队列 -->
  50.         <!-- 或者配置成默认： name="default" queue="指定一个默认队列" -->
  51.         <rule name="reject" />        
  52.     </queuePlacementPolicy>
  53. </allocations>

将配置文件分发到集群其他节点服务器。

重启yarn集群。

提交任务时指定队列：

根据配置的分配策略，如果指定了队列，那么会到指定的队列中执行。但是如果指定的队列不存在，则不允许创建队列。

  1. <rule name="specified" create="false" />
  1. hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.3.jar wordcount -D mapreduce.job.queuename=root.test /input /output

根据前面配置的策略，如果不指定队列，则提交到对应用户名称的队列，即root.tengyer.tengyer队列（root.用户组.用户名）：

我们声明了一个队列root.tengyer的type="parent"。然后在分配策略中指定了：不允许创建primaryGroup（root.用户组父队列），但是允许创建nestedUserQueue（root.用户组.用户名队列），所以可以在root.tengyer父队列中创建出root.tengyer.tengyer队列。

  1. <rule name="nestedUserQueue" create="true">
  2.     <rule name="primaryGroup" create="false" />
  3. </rule>
  1. hadoop jar share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.3.jar wordcount /input /output