yarn调优

https://blog.csdn.net/qq_32641659/article/details/87969746?utm_medium=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.control&depth_1-utm_source=distribute.pc_relevant.none-task-blog-2%7Edefault%7EBlogCommendFromMachineLearnPai2%7Edefault-1.control

Hadoop YARN中内存的设置
https://blog.csdn.net/shubingzhuoxue/article/details/50239041

日志
https://blog.csdn.net/qq_29493353/article/details/83753091?utm_term=yarn%E7%9A%84%E6%97%A5%E5%BF%97%E7%9B%AE%E5%BD%95&utm_medium=distribute.pc_aggpage_search_result.none-task-blog-2~all~sobaiduweb~default-2-83753091&spm=3001.4430

image.png

调试

image.png
return code 2一般是资源不够

image.png

1 am
image.png2 job
image.png

3 reduce job

image.png
4 切斜
image.pngimage.png
5 情况
image.png

看日志
image.png
进入application id左上角有个小的kill application

image.png

CDH调优

修改每个nodemanager 可分配的内存 yarn.nodemanager.resource.memory-mb

yarn.nodemanager.resource.memory-mb
表示该节点上YARN可使用的物理内存总量，默认是8192（MB）

queue 队列 查看的位置
image.png

yarn.scheduler.maximum-allocation
最大容器内存

yarn查看实时，还有一个历史的：
image.png

capcity的value是百分比
image.png

配置队列 就是资源池:
image.png