分区

1.读表时候的分区数量

读取时,以HBase的中的表的Region数量作为分区数。
读取时,是日期范围读取有reduce操作那么会累加分区数。

2.Shuffle时以及之后的分区数量

但是后续有shuffle操作的算子会以

  • 在代码中指定
  • 在emr上指定的数量

作为分区数(代码上指定的优先级高)