DataSet可以通过Scala的序列获取到DataSet,也可以通过RDD转换得到DataSet,也可以通过DataFrame转换得到DataSet.

说明:
在实际使用的时候, 很少用到把序列转换成 DataSet, 更多的是通过RDD来得到DataSet

代码

  2. import org.apache.spark.sql.{Dataset, SparkSession}
  4. /**
  5.  * 定义user实体类
  6.  *
  7.  * @param name
  8.  * @param age
  9.  */
  10. case class User(name: String, age: Int)
  12. object CreateDataSet {
  14.   def main(args: Array[String]): Unit = {
  15.     //demo1()   // 对象
  16.     demo2() // 基本数据类型
  17.   }
  19.   /**
  20.    * 对象
  21.    */
  22.   def demo1(): Unit = {
  23.     val sparkSession = SparkSession
  24.       .builder()
  25.       .master("local[*]")
  26.       .appName("CreateDataSet")
  27.       .getOrCreate()
  29.     import sparkSession.implicits._
  31.     val list = List(User("张三", 15), User("李四", 20), User("王五", 25))
  32.     val ds = list.toDS()
  34.     // 在ds做sql查询
  35.     // 定义临时视图
  36.     ds.createOrReplaceTempView("user")
  37.     //查询语句
  38.     sparkSession.sql("select * from user where age > 15").show
  39.     sparkSession.stop()
  42.     sparkSession.close()
  43.   }
  45.   /**
  46.    * 基本数据类型
  47.    */
  48.   def demo2(): Unit = {
  49.     val sparkSession: SparkSession = SparkSession
  50.       .builder()
  51.       .master("local[*]")
  52.       .appName("CreateDS")
  53.       .getOrCreate()
  54.     import sparkSession.implicits._
  56.     val list1 = List(30, 50, 70, 60, 10, 20)
  57.     // 把集合转成ds
  58.     val ds: Dataset[Int] = list1.toDS()
  59.     // df能用的ds一定可以用
  60.     ds.show
  61.   }
  64. }

运行结果

demo1的结果

  1. +----+---+
  2. |name|age|
  3. +----+---+
  4. |  李四| 20|
  5. |  王五| 25|
  6. +----+---+

demo2的结果

  1. +-----+
  2. |value|
  3. +-----+
  4. |   30|
  5. |   50|
  6. |   70|
  7. |   60|
  8. |   10|
  9. |   20|
  10. +-----+

码云地址

https://gitee.com/crow1/ZJJ_SparkSQL/blob/01343f4/demo01/src/main/java/com/CreateDataSet.scala