Yarn 生产环境核心配置参数

ResourceManager相关配置

ResourceManager 相关配置：

• yarn.resourcemanager.scheduler.class：配置调度器，Apache版默认容量调度器，CDH版默认公平调度器
• yarn.resourcemanager.scheduler.client.thread-count：ResourceManager处理调度器请求的线程数量，默认50

NodeManager相关配置

CPU配置：

• yarn.nodemanager.resource.detect-hardware-capabilities：是否让yarn自己检测硬件进行配置，默认false
• yarn.nodemanager.resource.count-logical-processors-as-cores：是否将虚拟核数当做cpu核数，默认false
• yarn.nodemanager.resource.pcores-vcores-multiplier：虚拟核数和物理核数乘数，默认值1。例如：4核8线程，该参数就应该设置为2
• yarn.nodemaager.resource.cpu-vcores：NodeManager使用的cpu核数，默认8个

内存配置：

• yarn.nodemanager.resource.memory-mb：NodeManager使用内存，默认8G。和system-reserved-memory-mb只需要配置其中一个
• yarn.nodemanager.resource.system-reserved-memory-mb：NodeManager为系统保留多少内存。和memory-mb只需要配置其中一个
• yarn.nodemanager.pmem-check-enabled：是否开启物理内存检查限制Container，默认打开。检查到超过限制时作业将被kill停止。
• yarn.nodemanager.vmem-check-enabled：是否开启虚拟内存检查限制Container，默认打开
• yarn.nodemanager.vmem-pmem-ration：虚拟内存物理内存比例，默认2.1

Container相关配置

内存配置：

• yarn.scheduler.minimum-allocation-mb：容器最小内存，默认1G
• yarn.scheduler.maximum-allocation-mb：容器最大内存，默认8G

CPU配置：

• yarn.scheduler.minimum-allocation-vcores：容器最小CPU核数，默认1个
• yarn.scheduler.maximum-allocation-vcores：容器最大CPU核数，默认4个