spark-submit 指令详解
模板
yarn cluster 同理
参数
| | |
| —- | —- |
| | |
| | |
| | |
| | |
| –files | 其他额外的spark配置属性是个k-v,如”conf”:{“spark.master”:”spark://tian:7077“} |
| –jars | 作业执行过程中使用到的其他jar，可以使用逗号分隔添加多个。可以使用如下方式添加：file：指定http文件服务器的地址，每个executor都从这个地址下载。hdfs,http,https,ftp:从以上协议指定的路径下载。local:直接从当前的worker节点下载。 |
# 1、spark deploy_mode配置详解
具体参考官网介绍：http://spark.apache.org/docs/latest/submitting-applications.htmlspark的deploy_mode可以是client 或cluster注意这里的client和cluster模式的区别在于driver的位置
照抄与官网解释
大意就是，如果你进行spark-submit的机器和worker节点在地理上相近（比如同一个局域网），建议使用client模式，这时driver就在进行spark-submit的线程中。换句话说，进行spark-submit的机器没必要是集群里面的机器，如果你的笔记本安装了Spark环境，就可以提交任务到master节点，这个时候driver就在你的笔记本上运行。这时显然不推荐client模式，因为考虑到网络开销，最好使用cluster模式。使用cluster模式后，Spark就会根据调度算法在集群中选择一个机器作为driver执行的地方。Master node根本不会执行用户提交的任务，它是负责整个调度的（运行cluster manager)。
若有收获，就点个赞吧
0 人点赞
