Zeppelin on CDH ( Zeppelin 在 CDH 上 )

原文链接 : http://zeppelin.apache.org/docs/0.7.2/install/cdh.html

译文链接 : http://www.apache.wiki/pages/viewpage.action?pageId=10031042

贡献者 : 片刻 ApacheCN Apache中文网

1.导入Cloudera QuickStart Docker映像

Cloudera已经在自己的容器中正式提供了CDH Docker Hub。请查看本指南页面了解更多信息。

您可以从Cloudera Docker Hub中拉出Docker镜像。

  1. docker pull cloudera/quickstart:latest

2. Run docker

  1. docker run -it \
  2. -p 80:80 \
  3. -p 4040:4040 \
  4. -p 8020:8020 \
  5. -p 8022:8022 \
  6. -p 8030:8030 \
  7. -p 8032:8032 \
  8. -p 8033:8033 \
  9. -p 8040:8040 \
  10. -p 8042:8042 \
  11. -p 8088:8088 \
  12. -p 8480:8480 \
  13. -p 8485:8485 \
  14. -p 8888:8888 \
  15. -p 9083:9083 \
  16. -p 10020:10020 \
  17. -p 10033:10033 \
  18. -p 18088:18088 \
  19. -p 19888:19888 \
  20. -p 25000:25000 \
  21. -p 25010:25010 \
  22. -p 25020:25020 \
  23. -p 50010:50010 \
  24. -p 50020:50020 \
  25. -p 50070:50070 \
  26. -p 50075:50075 \
  27. -h quickstart.cloudera --privileged=true \
  28. agitated_payne_backup /usr/bin/docker-quickstart;

3.验证运行CDH

要验证应用程序是否正常运行,请检查Web界面上的HDFS http://<hostname>:50070/和YARN http://<hostname>:8088/cluster

4.在Zeppelin中配置Spark解释器

设置以下配置conf/zeppelin-env.sh

  1. export MASTER=yarn-client
  2. export HADOOP_CONF_DIR=[your_hadoop_conf_path]
  3. export SPARK_HOME=[your_spark_home_path]

HADOOP_CONF_DIR(Hadoop配置路径)定义在/scripts/docker/spark-cluster-managers/cdh/hdfs_conf

不要忘记在“Zeppelin Interpreters”设置页面中设置Spark master,如下所示。yarn-client

Zeppelin on CDH ( Zeppelin 在 CDH 上 ) - 图1

使用Spark解释器运行Zeppelin

在Zeppelin中使用Spark解释器运行一个段落后,

Zeppelin on CDH ( Zeppelin 在 CDH 上 ) - 图2

浏览http://<hostname>:8088/cluster/apps检查Zeppelin应用程序是否运行良好。

Zeppelin on CDH ( Zeppelin 在 CDH 上 ) - 图3