搭建(3)spark HA集群(yarn模式)搭建
Spark客户端直接连接Yarn,不需要额外构建Spark集群。有yarn-client和yarn-cluster两种模式,<br />主要区别在于:Driver程序的运行节点。<br />yarn-client:Driver程序运行在客户端,适用于交互、调试,希望立即看到app的输出<br />yarn-cluster:Driver程序运行在由RM(ResourceManager)启动的AP(APPMaster)适用于生产环境。<br />Master和ApplicationMaster<br />ResourceManager、NodeManager和Containe
1)修改hadoop配置文件yarn-site.xml,添加如下内容:
2)修改spark-env.sh,添加如下配置:
https://www.jianshu.com/p/fbad4044142chttps://blog.csdn.net/wx1528159409/article/details/86626143https://blog.csdn.net/chengyuqiang/article/details/77864246