一、概述


二、部署安装

spark的部署模式分为三种,分别为Local、Standalone、YARN
YARN又分为YARN-Client和YARN-Cluster

Local模式一般就是在本地运行Spark任务,需要Spark环境的,Standalone模式是Spark自身的一种调度模式,也是需要Spark环境,YARN模式中,其实是将Spark JAR包提交到YARN上面,由YARN去开启Contioner然后去执行Spark的作业,这个其实只需要上传Spark Jar包和一些依赖包。不需要在部署Spark环境(充当一个Submit的功能,还占用节点资源)

基础环境搭建——local本地模式

https://blog.csdn.net/weixin_44318830/article/details/104389265

Spark 完全分布式搭建

https://www.cnblogs.com/midworld/p/15390693.html

三、Spark的Shell相关操作