文章目录

  • ​​spark outline​​
  • ​​Saprk reduceByKey、aggregateByKey、foldByKey、combineByKey 小结​​

spark outline

​​spark outline​​

Saprk reduceByKey、aggregateByKey、foldByKey、combineByKey 小结

​总结:​​​ ReduceByKey 没有初始值 分区内和分区间逻辑相同
foldByKey 有初始值 分区内和分区间逻辑相同
aggregateByKey 有初始值 分区内和分区间逻辑可以不同
combineByKey 初始值可以变化结构 分区内和分区间逻辑不同

Saprk reduceByKey、aggregateByKey、foldByKey、combineByKey 小结_spark