搭建(3)spark HA集群(yarn模式)搭建

  1. Spark客户端直接连接Yarn,不需要额外构建Spark集群。有yarn-clientyarn-cluster两种模式,<br />主要区别在于:Driver程序的运行节点。<br />yarn-clientDriver程序运行在客户端,适用于交互、调试,希望立即看到app的输出<br />yarn-clusterDriver程序运行在由RMResourceManager)启动的APAPPMaster)适用于生产环境。<br />MasterApplicationMaster<br />ResourceManagerNodeManagerContaine

搭建(3)spark HA集群(yarn模式)搭建 - 图1

1)修改hadoop配置文件yarn-site.xml,添加如下内容:

2)修改spark-env.sh,添加如下配置:

http://47.98.253.2:8080/

https://www.jianshu.com/p/fbad4044142chttps://blog.csdn.net/wx1528159409/article/details/86626143https://blog.csdn.net/chengyuqiang/article/details/77864246