Spark
白天
夜间
首页
下载
阅读记录
书签管理
我的书签
添加书签
移除书签
repartitions
浏览
50
扫码
分享
2023-11-23 12:31:11
底层调用的是coalesce,shuffle默认为true
若有收获，就点个赞吧
0 人点赞
上一篇:
下一篇:
初识
启动
起步
RDD介绍
RDD(1) 转换算子-Value
RDD(2) 转换算子-Value
RDD(3) 转换算子-Value
RDD(4) 转换算子—(K-V)
RDD(4) 行动算子
RDD(3) 持久化
RDD(6) 分区器
累加器
广播
架构
传递过程
关系
RDD
RDD
转换算子
转换
1.map
2.mapPartitions
3.mapValues
4.flatMap
清洗
filter
合流
union
intersection
subtract
Shuffle操作
排序
sortby
sortByKey
值聚合
reduceByKey
分组聚合
groupBykey
合流连接
1.join
2.leftJoinOut
rightJoinOut
fullJoinOut
重分区
coalesce
repartitions
行动算子
通用
1.foreachPartitions
2.take & takeOrdered
3.zipWithIndex
4.collect & foreach
5.reduce&aggregate
6.first
7.count
K-V类型
countBykey
countByValue
数字类型
max
缓存
cache
checkpoint
区别
依赖关系
依赖
阶段
DAG&Stage
Stage
DAG
序列化
案例
1 前三的广告
2 前十的用户
SparkSQL
一 DataFrame
二 DataSet
三 类型互转
四 SparkSQL-DataFrame
五 SparkSQL-DataSet
六 用户自定义函数
七 数据的加载和保存
八 Hive on Spark
SQL
案例
SparkStreaming
转换算子
transform
状态
window
countByWindow
reduceByKeyAndWindow
updateStateByKey
调优
分区&并行度
并行度
分区
例子
shuffle
暂无相关搜索结果！
让时间为你证明
分享，让知识传承更久远
×
文章二维码
×
手机扫一扫，轻松掌上读
文档下载
×
请下载您需要的格式的文档，随时随地，享受汲取知识的乐趣！
PDF
文档
EPUB
文档
MOBI
文档
书签列表
×
阅读记录
×
阅读进度:
0.00%
(
0/0
)
重置阅读进度
×
思维导图备注
