平时写 hive sql 知道如何优化任务,但是今天遇到 hive on spark 不知道如何调整参数优化任务了。于是去参阅了官方资料,作做此记录。
Hive on Spark
Hive on Spark 为 Hive 提供了 Spark 作为其执行引擎。在 HIVE-7292 中添加。
set hive.execution.engine=spark;
安装 Spark
有下面几种选择,我们根据自己的情况选择即可。
- 安装在 Yarn 上运行的 spark
doc 地址:http://spark.apache.org/docs/latest/running-on-yarn.html
今天太晚了,明天继续…