Spark提交应用详解

在提交应用时，一般会同时提交一些参数

  1. bin/spark-submit \
  2. --class <main-class>
  3. --master <master-url> \
  4. ... # other options
  5. <application-jar> \
  6. [application-arguments]
参数 说明 示例
—class Spark程序中包含主函数的类
—master Spark程序运行的模式（环境） 模式：local[*]、spark://host:port、Yarn
—executor-memory 1G 指定每个 executor 可用内存为 1G
—total-executor-cores 2 指定所有 executor 使用的 cpu 核数 为2个
—executor-cores 指定每个 executor 使用的 cpu 核数
application-jar 打包好的应用 jar，包含依赖。
这 个URL在集群中全局可见。
比如 hdfs://共享存储系统，如果是file://path ，
那么所有的节点的 path 都包含同样的 jar
application-arguments 传给 main()方法的参数