我们以sparkPI的样例，我们发现reduce是一个action操作，map, parallelize是transation操作。生成两个两个RDD, MapPartitionsRDD, ParallelCollectionRDD。程序的入口从reduce函数开始。RDD.reduce我们知道map, parallelize全部是transaction操作，对应的方法体是new一个新的RDD出来
转载
2024-01-21 00:50:41
40阅读
分区过程概览RangePartitioner分区执行原理：计算总体的数据抽样大小sampleSize，计算规则是：至少每个分区抽取20个数据或者最多1M的数据量。根据sampleSize和分区数量计算每个分区的数据抽样样本数量最大值sampleSizePrePartition根据以上两个值进行水塘抽样，返回RDD的总数据量，分区ID和每个分区的采样数据。计算出数据量较大的分区通过R
转载
2023-12-07 11:12:22
63阅读
HashPartitioner分区可能导致每个分区中数据量的不均匀。而RangePartitioner分区则尽量保证每个分区中数据量的均匀，将一定范围内的数映射到某一个分区内。分区与分区之间数据是有序的，但分区内的元素是不能保证顺序的。 RangePartitioner分区执行原理：计算总体的数据抽样大小sampleSize，计算规则是：至少每个分区抽取20个数据或者最多1M的数据量
转载
2023-12-07 12:39:22
165阅读
