内存、cpu优化

  1. ****************************map
  2. 默认MapTask内存上限1024MB
  3. mapreduce.map.memory.mb 
  5. 控制MapTask堆内存大小
  6. mapreduce.map.java.opts
  8. 默认MapTask的CPU核数1
  9. mapreduce.map.cpu.vcores 
  11. ****************************reduce
  12. 默认ReduceTask内存上限1024MB
  13. mapreduce.reduce.memory.mb 
  15. 控制ReduceTask堆内存大小
  16. mapreduce.reduce.java.opts
  18. 默认ReduceTask的CPU核数1个
  19. mapreduce.reduce.cpu.vcores
  22. 当MapTask完成的比 例达到该值后才会为ReduceTask申请资源。默认是0.05
  23. mapreduce.job.reduce.slowstart.completedmaps
  25. 如果一个Task在一定时间内没有任何进入， 即不会读取新的数据，也没有输出数据，则认为该Task处于Block状态， 可能是卡住了，也许永远会卡住，为了防止因为用户程序永远Block住 不退出，则强制设置了一个该超时时间(单位毫秒)，默认是600000 (10分钟)。如果你的程序对每条输入数据的处理时间过长，建议将 该参数调大。
  26. mapreduce.task.timeout

spill

  1. mapred-site.xml
  3. <!-- 环形缓冲区大小，默认100m 改成200M--> 
  4. <property>
  5. <name>mapreduce.task.io.sort.mb</name> 
  6. <value>100</value>
  7. </property>
  8. <!-- 环形缓冲区溢写阈值，默认0.8 改为0.9--> 
  9. <property>
  10. <name>mapreduce.map.sort.spill.percent</name>
  11. <value>0.80</value>
  12. </property>

merge

mapred-site.xml

<!-- merge每次合并多少个spill文件，默认10个 改为20--> 
<property>
<name>mapreduce.task.io.sort.factor</name>
<value>10</value>
</property>

combiner

不影响业务前提下，在map端聚合

reduce拉取

mapred-site.xml

每个Reduce去Map 中拉取数据的并行数，默认值是5。可以提高到10
<property>
<name>mapreduce.reduce.shuffle.parallelcopies</name>
<value>5</value>
</property>

<!-- Buffer 大小占 Reduce 可用内存的比例，默认值 0.7 --> 
<property>
<name>mapreduce.reduce.shuffle.input.buffer.percent</name>
<value>0.70</value>
</property>
<!-- Buffer 中的数据达到多少比例开始写入磁盘，默认值 0.66。 --> 
<property>
<name>mapreduce.reduce.shuffle.merge.percent</name>
<value>0.66</value>
</property>

压缩优化

image.png
image.png