Spark 的数据读取及数据保存可以从两个维度来作区分:文件格式以及文件系统。
    文件格式分为:text 文件、csv 文件、sequence 文件以及 Object 文件;
    文件系统分为:本地文件系统、HDFS、HBASE 以及数据库。

    ➢ text 文件

    1. // 读取输入文件
    2. val inputRDD: RDD[String] = sc.textFile("input/1.txt")
    3. // 保存数据
    4. inputRDD.saveAsTextFile("output")


    ➢ sequence 文件
    SequenceFile 文件是 Hadoop 用来存储二进制形式的 key-value 对而设计的一种平面文件(FlatFile)。在 SparkContext 中,可以调用sequenceFile [keyClass, valueClass] 。

    1. // 保存数据为 SequenceFile
    2. dataRDD.saveAsSequenceFile("output")
    3. // 读取 SequenceFile 文件
    4. sc.sequenceFileInt,Int.collect().foreach(println)


    ➢ object 对象文件
    对象文件是将对象序列化后保存的文件,采用 Java 的序列化机制。可以通过 objectFile [T:ClassTag]函数接收一个路径,读取对象文件,返回对应的 RDD,也可以通过调用saveAsObjectFile()实现对对象文件的输出。因为是序列化所以要指定类型。

    1. // 保存数据
    2. dataRDD.saveAsObjectFile("output")
    3. // 读取数据
    4. sc.objectFileInt.collect().foreach(println)