分区和阶段

无shuffle

窄依赖

  • 可以进行并行计算
  • 出错可以重来

image.png

有shuffle

宽依赖

  • 根据宽依赖进行stage阶段划分(shuffle后的阶段需要等待shuffle前的阶段计算完)

image.png

阶段划分

image.png

image.png