MapTask 类执行调度Map 方法的整体流程[包含input]:

未命名文件 (1).png

Map流程中的output源码

  1. // Map阶段的输出实体类[环形缓冲区, 设置比例进行分批次溢写到磁盘]
  2. output = NewOutputCollector()
  4. // 执行获取
  5. collector = org.apache.hadoop.mapred.MapTask#createSortingCollector
  6. // 拿到分区数
  7. partitions = jobContext.getNumReduceTasks();
  8. // 分区大于1, 获取分区器
  9. if (partitions > 1) {
  10.     // 默认的分区器: HashPartitioner.class
  11.     partitioner = (org.apache.hadoop.mapreduce.Partitioner<K,V>)
  12.         ReflectionUtils.newInstance(jobContext.getPartitionerClass(), job);
  13. }