Local模式(单机模式)
单节点模式,分为
- local:所有计算都运行再一个线程中
- local[K]:指定K个线程来运行计算,通常CPU有几个Core就指定K为几
- local[*]:自动设定CPU最大的Core数
val conf = new SparkConf().setMaster("local[*]").setAppName("Application")
Standalone模式(Spark自带的简单集群管理器)
Standalone模式也叫作独立模式,自带完整的服务,可单独部署到一个集群中,无序依赖任何其他资源管理系统。
Spark的Standalone模式体现了经典的master-slave模式
================hadoop102================
3330 Jps
3238 Worker
3163 Master
================hadoop103================
2966 Jps
2908 Worker
================hadoop104================
2978 Worker
3036 Jps
Spark On Yarn模式(使用Yarn作为集群管理器)
yarn支持client和cluster模式(-deploy-mode)
Spark on Mesos模式(使用Mesos作为集群管理器)
参考
【1】:https://blog.csdn.net/lyq7269/article/details/107847319