Spark有yarn-client和yarn-cluster两种模式，主要区别在于：Driver程序的运行节点。

spark-yarn运行流程

客户端模式

yarn-client：Driver程序运行在客户端，适用于交互、调试，希望立即看到app的输出。

流程：
1、提交客户端任务执行指令
2、生成一个spark submit 进程，在进程内启动客户端并生成一个Driver线程
3、之后客户端向RM注册任务，申请启动appmaster
4、RM找到一台NM在其中启动appmaster
5、appmaster再想RM申请资源
6、RM将资源列表返回给appmaster去找到NM，appmaster根据资源列表找到NM并启动executor
7、excutor启动完毕后向Driver进行反注册，申请计算任务，
8、driver将task交给executor执行
9、等到executor执行完毕后，appmaster向RM注销自己，释放资源

[atguigu@hadoop102 spark-yarn]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode client \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10   --jar包的参数

集群模式

yarn-cluster：Driver程序运行在由ResourceManager启动的APPMaster适用于生产环境。

流程：
1、提交集群模式计算指令
2、指令提交后会生成一个spark submit的进程，进程中启动客户端
3、客户端向RM注册并申请启动APPmaster
4、RM接收到申请后找到一台NM并在其中启动appmaster
5、appmaster向RM申请资源
6、RM返回符合要求的NM资源列表，appmaster根据资源列表找到NM并在其中启动executor
7、executor启动完成后向Driver反向注册，并申请计算任务
8、Driver向excutor发送task
9、等到executor执行完成后，appmaster向RM注销自己，释放资源

[atguigu@hadoop102 spark-yarn]$ bin/spark-submit \
--class org.apache.spark.examples.SparkPi \
--master yarn \
--deploy-mode cluster \
./examples/jars/spark-examples_2.12-3.0.0.jar \
10

查看运行结果

（1）查看http://hadoop103:8088/cluster页面，点击History按钮，跳转到历史详情页面

（2）http://hadoop102:18080点击Executors->点击driver中的stdout

注意：如果在yarn日志端无法查看到具体的日志，则在yarn-site.xml中添加如下配置并启动Yarn历史服务器

<property>
    <name>yarn.log.server.url</name>
    <value>http://hadoop102:19888/jobhistory/logs</value>
</property>

注意：hadoop历史服务器也要启动 mr-jobhistory-daemon.sh start historyserver

spark-submit工作常用参数: