动态分配的配置需要shuffle支持,参考官方说明
    spark.dynamicAllocation.enabled=true
    spark.shuffle.service.enabled=true
    参考官方配置列表,
    然后这个external shuffle需要在YARN中支持,参考官方说明,一个示例

    yarn.nodemanager.aux-services
    mapreduce_shuffle,spark_shuffle