直接运行
下载zeppelin,解压
如果使用它自带的spark,可以直接启动,但官方和其他说法不推荐
启动
bin/zeppelin-daemon.sh start
访问链接即可http://hostname_or_ip:8080
yarn-client模式
配置文件在conf子文件夹中
复制zeppelin-env.sh.template成为zeppelin-env.sh
修改其中的HADOOP_HOME,HADOOP_CONF_DIR,SPARK_HOME
打开网页界面,点右上的anonymous,interpreter,然后可以在出现的搜索框写spark
修改master为yarn-client
如果需要,修改python为自己conda配置的python路径
到这里为止的话,会被YARN KILL Container,根据之前的经验,配置am memory
在最下面可以添加一行配置:spark.yarn.am.memory,2G(string类型)
保存即可
运行代码
%pyspark
sc.parallelize([1,15,34]).collect()
使用后,停止服务
bin/zeppelin-daemon.sh stop