使用Spark-Shell方式

https://blog.csdn.net/qq_41489540/article/details/109956754

使用spark-sql cli

这种使用场景基本就是测试环境用用,生产环境很少用..

为什么要有spark-sql cli?
因为在spark-shell执行 hive 方面的查询比较麻烦需要 .spark.sql(“select * from student “).show方式,很麻烦

Spark 专门给我们提供了书写 HiveQL 的工具: spark-sql cli

开始使用

在spark的bin目录下直接执行:

  1. [root@zjj101 bin]#  sh spark-sql
  2. spark-sql (default)> select * from student;
  3. # 省略了一些日志没打在上面
  4. 20/11/22 16:35:00 INFO scheduler.DAGScheduler: Job 1 finished: processCmd at CliDriver.java:376, took 0.317642 s
  5. id      name
  6. 1       zhangsan
  7. NULL    NULL
  8. NULL    NULL
  9. NULL    NULL
  10. Time taken: 1.363 seconds, Fetched 4 row(s)
  11. 20/11/22 16:35:00 INFO CliDriver: Time taken: 1.363 seconds, Fetched 4 row(s)

就可以直接执行SQL操作