一 加载数据

spark.read.load 是加载数据的通用方法

scala> spark.read.format ("…")[.option ("…")].load ("…")

• format(“…”)：指定加载的数据类型， 包括”csv”、”jdbc” 、”json” 、”orc”、”parquet”和”textFile”
• load(“…”)：保存的路径
• option(“…”)：在”jdbc”格式下需要传入JDBC 相应参数， url 、user、password 和dbtable

Json

加载JSON 文件

val path = "/opt/module/spark-local/people.json"
val peopleDF = spark.read.json (path)

创建临时表

peopleDF.createOrReplaceTempView("people")

数据查询

spark.sql("SELECT name FROM people WHERE age BETWEEN 13 AND 19").show ()
+------+
| name|
+------+
|Justin|
+------+

MySQL

导入依赖

<dependency>
  <groupId>mysql</groupId>
  <artifactId>mysql-connector-java</artifactId>
  <version>5.1.27</version>
</dependency>

读取数据

  val conf: SparkConf = new
  SparkConf().setMaster("local[*]").setAppName("SparkSQL")
  //创建 SparkSession 对象
  val spark: SparkSession = SparkSession.builder().config(conf).getOrCreate()
  import spark.implicits._
  //方式 1：通用的 load 方法读取
  spark.read.format ("jdbc")
                .option ("url", "jdbc:mysql://localhost:3306/sparkDB")
                .option("driver", "com.mysql.jdbc.Driver")
                .option("user", "root")
                .option("password", "root")
                .option("dbtable", "user")
                .load().show
  //释放资源
  spark.stop()

二 保存数据

df.write.save 是保存数据的通用方法

scala>df.write.format ("…")[.option ("…")].save ("…")

• format(“…”)：指定保存的数据类型， 包括”csv”、”jdbc” 、”json” 、”orc”、”parquet”、”textFile”
• save (“…”)：保存的路径
• option(“…”)：在”jdbc”格式下需要传入JDBC 相应参数， url 、user、password 和dbtable

df.write.mode (“append”).json(“/opt/module/data/output”)

MySQL

写入数据

//样例类
case class User2(name: String, age: Long)
//main
val conf: SparkConf = new SparkConf().setMaster("local[*]").setAppName("SparkSQL")
val spark: SparkSession = SparkSession.builder().config(conf).getOrCreate() 
import spark.implicits._
val rdd: RDD[User2] = spark.sparkContext.makeRDD(List(User2("lisi", 20), User2("zs", 30)))
val ds: Dataset[User2] = rdd.toDS
ds.write.format("jdbc")
          .option("url", "jdbc:mysql://linux1:3306/spark-sql")
          .option("user", "root")
          .option("password", "123123")
          .option("dbtable", "user")
          .mode(SaveMode.Append)
          .save()