本文从十个方面介绍 Spark SQL 的使用及注意事项,主要包括:

    • Spark SQL 使用场景
    • 数据加载:云和本地, RDDs 和 DataFrames
    • SQL 和 DataFrame API 比较,它们之间的区别
    • 模式: 隐式和显示模式解释,数据类型
    • 数据加载以及结果保存等
    • SQL 使用场景,什么时候不适合使用 SQL
    • 使用 SQL 进行 ETL
    • 操作 JSON 数据
    • 从外部数据库读取和写入
    • 在真实环境下测试你的 SQL