Spark

白天 夜间 首页 下载 阅读记录
  我的书签   添加书签   移除书签

调优

浏览 195 扫码 分享 2022-07-14 01:34:52
  • 分区&并行度
  • shuffle

若有收获，就点个赞吧

0 人点赞

上一篇:
下一篇:
  • 书签
  • 添加书签 移除书签
  • 初识
    • 启动
    • 起步
    • RDD介绍
      • RDD(1) 转换算子-Value
      • RDD(2) 转换算子-Value
      • RDD(3) 转换算子-Value
      • RDD(4) 转换算子—(K-V)
      • RDD(4) 行动算子
      • RDD(3) 持久化
      • RDD(6) 分区器
      • 累加器
      • 广播
  • 架构
    • 传递过程
    • 关系
  • RDD
    • RDD
      • 转换算子
        • 转换
          • 1.map
          • 2.mapPartitions
          • 3.mapValues
          • 4.flatMap
        • 清洗
          • filter
        • 合流
          • union
          • intersection
          • subtract
        • Shuffle操作
          • 排序
            • sortby
            • sortByKey
          • 值聚合
            • reduceByKey
          • 分组聚合
            • groupBykey
          • 合流连接
            • 1.join
            • 2.leftJoinOut
            • rightJoinOut
            • fullJoinOut
        • 重分区
          • coalesce
          • repartitions
      • 行动算子
        • 通用
          • 1.foreachPartitions
          • 2.take & takeOrdered
          • 3.zipWithIndex
          • 4.collect & foreach
          • 5.reduce&aggregate
          • 6.first
          • 7.count
        • K-V类型
          • countBykey
          • countByValue
        • 数字类型
          • max
    • 缓存
      • cache
      • checkpoint
      • 区别
    • 依赖关系
      • 依赖
      • 阶段
      • DAG&Stage
        • Stage
        • DAG
    • 序列化
    • 案例
      • 1 前三的广告
      • 2 前十的用户
  • SparkSQL
    • 一 DataFrame
    • 二 DataSet
    • 三 类型互转
    • 四 SparkSQL-DataFrame
    • 五 SparkSQL-DataSet
    • 六 用户自定义函数
    • 七 数据的加载和保存
    • 八 Hive on Spark
    • SQL
    • 案例
  • SparkStreaming
    • 转换算子
      • transform
    • 状态
      • window
        • countByWindow
        • reduceByKeyAndWindow
      • updateStateByKey
  • 调优
    • 分区&并行度
      • 并行度
      • 分区
      • 例子
    • shuffle
暂无相关搜索结果！

    让时间为你证明

    展开/收起文章目录

    分享，让知识传承更久远

    文章二维码

    手机扫一扫，轻松掌上读

    文档下载

    请下载您需要的格式的文档，随时随地，享受汲取知识的乐趣！
    PDF文档 EPUB文档 MOBI文档

    书签列表

      阅读记录

      阅读进度: 0.00% ( 0/0 ) 重置阅读进度
        思维导图备注