Local模式(单机模式)


    单节点模式,分为

    1. local:所有计算都运行再一个线程中
    2. local[K]:指定K个线程来运行计算,通常CPU有几个Core就指定K为几
    3. local[*]:自动设定CPU最大的Core数
      1. val conf = new SparkConf().setMaster("local[*]").setAppName("Application")

    Standalone模式(Spark自带的简单集群管理器)


    Standalone模式也叫作独立模式,自带完整的服务,可单独部署到一个集群中,无序依赖任何其他资源管理系统。
    Spark的Standalone模式体现了经典的master-slave模式

    1. ================hadoop102================
    2. 3330 Jps
    3. 3238 Worker
    4. 3163 Master
    5. ================hadoop103================
    6. 2966 Jps
    7. 2908 Worker
    8. ================hadoop104================
    9. 2978 Worker
    10. 3036 Jps

    Spark On Yarn模式(使用Yarn作为集群管理器)


    yarn支持client和cluster模式(-deploy-mode)

    Spark on Mesos模式(使用Mesos作为集群管理器)


    参考
    【1】:https://blog.csdn.net/lyq7269/article/details/107847319