1、概念
RDD内部并行计算的计算单元。尽可能规避Shuffle过程，降低网络开销。
RDD的数据集在逻辑上被划分为多个分片，每一个分片成为分区，分区的格式决定了并行计算的粒度。每个分区的数值计算都是在一个任务中进行的，因此任务的个数是由RDD（准确来说是作业最后一个RDD）的分区数决定的。
2、原理
MapReduce里面的网络传输主要在Shuffle阶段，Shuffle的根本原因是相同的key存在不同的节点上，按key进行聚合的时候不得不进行Shuffle。
Spark把key-value RDD通过key的hashcode进行分区，而且保证相同的key存储在同一个节点上，这样对该RDD进行key聚合时，就不需要Shuffle过程。
key的分布不均决定了有的分区大有的分区小，没法保证分区完全相等，但它会保证在一个接近的范围。
进行join的时候是两个表，不可能把两个表都分区好，通常情况下是把用的频繁的大表事先进行分区，小表进行关联它的时候，小表进行Shuffle过程，大表不需要Shuffle。
3、算子
1）能从分区中获益的算子
cogroup(), groupWith(), join(), leftOuterJoin(), rightOuterJoin(), groupByKey(), reduceByKey(), combineByKey(), lookup().
2）能影响结果RDD分区方式的算子
Spark内部知道各个操作的影响分区方式，并将会对数据进行分区的操作的结果RDD自动设置对应的分区器。
cogroup(), groupWith(), join(), leftOuterJoin(), rightOuterJoin(), groupByKey(), reduceByKey(), combineByKey(), partitionBy(), sort(), mapValues()(若父RDD已有分区方式的话), flatMapValues()(若), filter()(若)。
其他所有操作生成的结果都不会存在特定的分区方式。
4、机制
1）分区原则
尽可能使分区的个数等于集群核心数目。
尽可能使同一RDD不同分区内的记录数量一致。
2）分区策略
[1]HashPartitioner
[2]RangePartitioner
[3]Custom：
扩展Partitioner抽象类，实现里面的三个方法：
def numPartitions: Int: 这个方法需要返回你想要创建分区的个数
def getPartition(key: Any): Int: 这个函数需要对输入的key做计算，然后返回该key的分区id，范围一定是0到numPartitions-1
def equals(other: Any): Boolean: 这个是Java标准的判断相等的函数，之所以要求用户实现这个函数是因为Spark内部会比较两个RDD的分区是否一样。
3）分区记录个数
对于转换操作得到的RDD：
如果是窄依赖，则分区记录数量依赖于父RDD中相同编号分区的数据分配方式。
如果是宽依赖，则分区记录数量依赖于选择的分区器，哈希分区器无法保证数据被平均分配到各个分区，范围分区器可以保证。
