map():每次处理一条数据,会执行一次这个map函数mapPartitions():每次处理一个分区的数据的时候执行一次这个mapPartitions函数 ,这个分区的数据处理完后,原 RDD 中该分区的数据才能释放,可能导致 OOM。 mapPartitions 效率比map 效率要高一点点开发指导:当内存空间较大的时候建议使用mapPartitions(),以提高处理效率。