选项 默认值 描述
    spark.executor.memory
    (—executor-memory)
    512m 为每个执行器进程分配的内存,格式与JVM内存字符串格式一样。
    spark.executor.cores
    (—executor-cores)
    1 限制应用使用的核心个数的配置。在YARN模式下,spark.executor.cores会为每个任务分配指定数目的核心。在独立模式和Mesos模式下
    spark.core.max
    (—total-executor-cores)
    spark.core.max设置了所有执行器进程使用的核心总数的上线
    spark.speculation false 设置为true时开启任务预测执行机制。当出现比较慢的任务时,这种机制会在另外的节点上也尝试执行该任务的一个副本。打开此选项会帮助减少大规模集群中个别慢的任务打来的影响。
    spark.serializer og.apache.spark.serializer.JavaSerializer 指定进行序列化的类库,包括通过网络传输数据或缓存数据时的序列化。可以使用org.apache.spark.serializer.KryoSerializer对Kryo进行优化。
    spark.eventLog.enabled false 设置为true时,开启事件日志机制。
    spark.eventLog.dir file://tmp/spark-events 日志文件存储的位置。