spark map 操作元组 spark的map函数

1、map和flatMap的区别

map函数会对每一条输入进行指定的操作，然后为每一条输入返回一个对象；而flatMap函数则是两个操作的集合——正是“先映射后扁平化”：
操作1：同map函数一样：对每一条输入进行指定的操作，然后为每一条输入返回一个对象
操作2：最后将所有对象合并为一个对象

将原数据的每个元素传给函数func进行格式化，返回一个新的分布式数据集

跟map(func)类似，但是每个输入项和成为0个或多个输出项(所以func函数应该返回的是一个序列化的数据而不是单个数据项)

在使用时map会将一个长度为N的RDD转换为另一个长度为N的RDD；而flatMap会将一个长度为N的RDD转换成一个N个元素的集合，然后再把这N个元素合成到一个单个RDD的结果集。

2、reduce和reduceByK

reduce将RDD中元素前两个传给输入函数，产生一个新的return值，新产生的return值与RDD中下一个元素（第三个元素）组成两个元素，再被传给输入函数，直到最后只有一个值为止。

具体过程，RDD有1 2 3 4 5 6 7 8 9 10个元素， 
1+2=3 
3+3=6 
6+4=10 
10+5=15 
15+6=21 
21+7=28 
28+8=36 
36+9=45 
45+10=55

reduceByKey(binary_function)

reduceByKey就是对元素为KV对的RDD中Key相同的元素的Value进行binary_function的reduce操作，因此，Key相同的多个元素的值被reduce为一个值，然后与原RDD中的Key组成一个新的KV对。

那么讲到这里，差不多函数功能已经明了了，而reduceByKey的是如何运行的呢？下面这张图就清楚了揭示了其原理：

亦即，它会在数据搬移以前，提前进行一步reduce操作。

可以实现同样功能的还有GroupByKey函数，但是，groupbykey函数并不能提前进行reduce，也就是说，上面的处理过程会翻译成这样：

所以在处理大规模应用的时候，应该使用reduceByKey函数

3、sortBy和sortByKey

sortByKey是对key（键）的排序，sortBy可以指定对键还是value进行排序

import sys

from pyspark import SparkContext

if __name__ == "__main__":
    master = "local"
    if len(sys.argv) == 2:
        master = sys.argv[1]
    try:
        sc.stop() 
    except:
        pass
    sc = SparkContext(master, 'test')

 
    RDD1 =sc.parallelize( (("a", 4.0), 
                           ("e", 4.4), 
                          ("f", 4.3),
                          ("b", 4.7),
                          ("c", 4.9), 
                          ("d", 4.5),
                                 ))
    print(RDD1.collect())
    RDD1 = RDD1.sortBy(ascending=True, numPartitions=None, keyfunc = lambda x: x[1]) 
    print(RDD1.collect())
    RDD1 = RDD1.sortByKey(ascending=True, numPartitions=None) 
    print(RDD1.collect())

[('a', 4.0), 
('e', 4.4), 
('f', 4.3), 
('b', 4.7),
('c', 4.9), 
('d', 4.5)]

[('a', 4.0),
('f', 4.3), 
('e', 4.4),
('d', 4.5), 
('b', 4.7), 
('c', 4.9)]

[('a', 4.0), 
('b', 4.7), 
('c', 4.9),
('d', 4.5), 
('e', 4.4),
('f', 4.3)]

ForeachPartition和MapPartition

ForeachPartition传入一个迭代器不需要返回

MapPartition传入一个迭代器需要返回一个迭代器