什么是 Flink?

之前介绍过,为什么要学习 Flink

什么是 Zeppelin ?

Web-based notebook that enables data-driven, interactive data analytics and collaborative documents with SQL, Scala and more

  • 20+ different interpreters.

**

参考官网文档进行。

开始安装

1、前提条件

Name Value
JDK 最低 1.7
OS Mac OSX
Ubuntu 14.X
CentOS 6.X
Windows 7 Pro SP1

2、下载

官方有两种安装包,唯一的区别的是:是否内置各种解释器。

下载地址:http://zeppelin.apache.org/download.html

image.png

我选择了第二种,按需安装,节省点空间。

下载完成并解压。

  1. tar -zxvf zeppelin-0.8.1-bin-netinst.tgz

修改配置:

进入conf/

  • 将zeppelin-env.sh.template修改为zeppelin-env.sh
  • 将zeppelin-site.xml.template修改为zeppelin-site.xml
  • 编辑 zeppelin-env.sh,添加 JAVA_HOME
  • 编辑 zeppelin-site.xml ,修改端口号 8080 为 7890 ,防止端口冲突。修改服务器 ip 为 127.0.0.1

image.png

进入安装包,如果是Unix类系统,可以执行 ,启动

  1. bin/zeppelin-daemon.sh start

如果是 windows 系统,执行 ,启动

  1. bin\zeppelin.cmd

默认是后台启动的。

访问: http://127.0.0.1:8080 即可看到下面的界面。

image.png

查看端口号占用情况:https://blog.csdn.net/hsd2012/article/details/51384907

netstat -anp|grep 80 或者 lsof -i:端口号

安装解释器

安装所有的解释器

  1. ./bin/install-interpreter.sh --all

安装指定的解释器(这里最好先关闭 zeppelin)

  1. ./bin/install-interpreter.sh --name md,shell,jdbc,python

列出支持的解释器

  1. ./bin/install-interpreter.sh --list
  1. alluxio Alluxio interpreter
  2. angular HTML and AngularJS view rendering
  3. beam Beam interpreter
  4. bigquery BigQuery interpreter
  5. cassandra Cassandra interpreter built with Scala 2.11
  6. elasticsearch Elasticsearch interpreter
  7. file HDFS file interpreter
  8. flink Flink interpreter built with Scala 2.11
  9. hbase Hbase interpreter
  10. ignite Ignite interpreter built with Scala 2.11
  11. jdbc Jdbc interpreter
  12. kylin Kylin interpreter
  13. lens Lens interpreter
  14. livy Livy interpreter
  15. md Markdown support
  16. pig Pig interpreter
  17. python Python interpreter
  18. scio Scio interpreter
  19. shell Shell command

You can also find the below community managed interpreter list in conf/interpreter-list file.

实战:

我们需要安装 flink 解释器,执行命令:.

  1. ./bin/install-interpreter.sh --name flink

安装成功之后,会在 ${ZEPPELIN_HOME}/interpreter 下面看到多了一个 flink 文件夹,没错这就代表安装成功了。

image.png

Flink Interpreter

主要是使用下面这几种方式:

Scala

  • DataStream API
  • Table API

SQL

  • DDL
  • DML

参考:

1、http://zeppelin.apache.org/docs/0.8.0/quickstart/tutorial.html

2、http://zeppelin.apache.org/docs/0.8.0/setup/deployment/flink_and_spark_cluster.html#installing-zeppelin-with-flink-and-spark-in-cluster-mode

3、https://zeppelin.apache.org/docs/0.8.0/development/helium/writing_visualization_basic.html