一、combiner基本介绍
- combiner类本质也是reduce聚合,combiner类继承了Reducer父类。
- combiner是运行在map端的,对map task内部的结果进行聚合。
- 而reduce是将来自不同的map task的数据做聚合。
- 作用:
- combiner可以减少map task落盘及向reduce task传输的数据量。
- 是否可以做map端的combine:
- 并非所有的mapreduce job都适合combine。
- 原则:无论使用不使用combine,都不能对最终结果造成影响;比如求平均值的例子,就不适用combine。