（1）Apache Livy、安装配置

http://livy.incubator.apache.org/### 一、什么是Apache Livy？ Apache Livy是一项服务，可通过REST接口轻松与Spark集群进行交互。它可以通过简单的REST接口或RPC客户端库轻松提交Spark作业或Spark代码片段，同步或异步结果检索以及Spark上下文管理。Apache Livy还简化了Spark与应用程序服务器之间的交互，从而使Spark可以用于交互式Web /移动应用程序。其他功能包括：

• 长时间运行的Spark上下文可被多个客户端用于多个Spark作业
• 在多个作业和客户端之间共享缓存的RDD或数据帧
• 可以同时管理多个Spark上下文，并且Spark上下文在群集（YARN / Mesos）而非Livy Server上运行，以实现良好的容错性和并发性
• 作业可以作为预编译的jar，代码段或通过Java / scala客户端API提交
• 通过安全的经过身份验证的通信确保安全 二、安装1、安装从官网下载 zip包：http://mirror.bit.edu.cn/apache/incubator/livy/0.6.0-incubating/apache-livy-0.6.0-incubating-bin.zip
  

Livy在配置目录下使用一些配置文件，默认情况下是Livy安装目录下的conf目录。LIVY_CONF_DIR启动Livy时，可以通过设置环境变量来提供备用配置目录。 1. 配置livy-env.sh
vim livy-env.sh注意：指定log的位置必须是存在的 2. 配置livy.conf vim livy.conf
#配置session过期时间

三、使用