四、Spark新特性

1. Spark Shuffle

1.1 HashShuffleManager

1.2 SortShuffleManager

一个并行只生成一个磁盘文件

2. Spark 3.0新特性

2.1 Adaptive Query Execution 自适应查询（Spark SQL)

2.2 Dynamic Partition Pruning 动态分区裁剪（Spark SQL)