02.从外部存储创建 RDD

Spark 也可以从任意 Hadoop 支持的存储数据源来创建分布式数据集.
可以是本地文件系统, HDFS, Cassandra, HVase, Amazon S3 等等.
Spark 支持 文本文件, SequenceFiles, 和其他所有的 Hadoop InputFormat.

读取文件的话,路径可以指定目录,也可以指定具体的文件,如果指定目录的话,直接读取目录下的所有的文件.

import org.apache.spark.rdd.RDD
import org.apache.spark.{SparkConf, SparkContext}
object createrdd {
    def main(args: Array[String]): Unit = {
        //1.创建SparkConf并设置App名称
        val conf: SparkConf = new SparkConf().setAppName("SparkCoreTest").setMaster("local[*]")
        //2.创建SparkContext，该对象是提交Spark App的入口
        val sc: SparkContext = new SparkContext(conf)
        //3.读取文件。如果是集群路径：hdfs://zjj101:9000/input
          // 下面代码是读取hadoop下的input目录的文件的
        //val lineWordRdd: RDD[String] = sc.textFile("input")
          val lineWordRdd: RDD[String] = sc.textFile("hdfs://zjj101:9000/input")
        //4.打印
        lineWordRdd.foreach(println)
        //5.关闭
        sc.stop()
    }
}