选项 | 默认值 | 描述 |
---|---|---|
spark.executor.memory (—executor-memory) |
512m | 为每个执行器进程分配的内存,格式与JVM内存字符串格式一样。 |
spark.executor.cores (—executor-cores) |
1 | 限制应用使用的核心个数的配置。在YARN模式下,spark.executor.cores会为每个任务分配指定数目的核心。在独立模式和Mesos模式下 |
spark.core.max (—total-executor-cores) |
spark.core.max设置了所有执行器进程使用的核心总数的上线 | |
spark.speculation | false | 设置为true时开启任务预测执行机制。当出现比较慢的任务时,这种机制会在另外的节点上也尝试执行该任务的一个副本。打开此选项会帮助减少大规模集群中个别慢的任务打来的影响。 |
spark.serializer | og.apache.spark.serializer.JavaSerializer | 指定进行序列化的类库,包括通过网络传输数据或缓存数据时的序列化。可以使用org.apache.spark.serializer.KryoSerializer对Kryo进行优化。 |
spark.eventLog.enabled | false | 设置为true时,开启事件日志机制。 |
spark.eventLog.dir | file://tmp/spark-events | 日志文件存储的位置。 |