Local 模式是最简单的Spark 运行模式,Interpreter 进程就是Spark Application(driver 和 executor 以线程的方式跑在 Interpreter 进程里),所有的Spark Job都会跑在本地Interpreter 进程里。

配置

Local 模式最简单,你只要去官网下载Spark,然后配置 SPARK_HOME 就可以(spark.master 默认已经设置成 loca[*])。下载完Spark后,到interpreter页面配置 SPAKR_HOME 即可,如下图:
image.png
接下来,你就可以在Notebook里写Spark代码了,我个人比较习惯跑下面的Spark Job来验证是否配置正确。
image.png

公众号 钉钉群

image.png image.png