转换算子操作:
- filter
过滤符合条件的记录数,true保留,false过滤掉。
- map
将一个RDD中的每个数据项,通过map中的函数映射变为一个新的元素。
特点:输入一条,输出一条数据。
- flatMap
先map后flat。与map类似,每个输入项可以映射为0到多个输出项。
- sample
随机抽样算子,根据传进去的小数按比例进行有放回或者无放回的抽样。
- reduceByKey
将相同的Key根据相应的逻辑进行处理。
- sortByKey/sortBy
作用在K,V格式的RDD上,对key进行升序或者降序排序
- join,leftOuterJoin,rightOuterJoin,fullOuterJoin
作用在K,V格式的RDD上。根据K进行连接,对(K,V)join(K,W)返回(K,(V,W))
- join后的分区数与父RDD分区数多的那一个相同。
- union
合并两个数据集。两个数据集的类型要一致。
- 返回新的RDD的分区数是合并RDD分区数的总和。
- intersection
取两个数据集的交集
- subtract
取两个数据集的差集
- mapPartition
与map类似,遍历的单位是每个partition上的数据。
- distinct(map+reduceByKey+map) 去重
- cogroup
当调用类型(K,V)和(K,W)的数据上时,返回一个数据集(K,(Iterable<V>,Iterable<W>))
- mapPartitionWithIndex
类似于mapPartitions,除此之外还会携带分区的索引值。
- repartition
增加或减少分区。会产生shuffle。(多个分区分到一个分区不会产生shuffle)
- coalesce
coalesce常用来减少分区,第二个参数是减少分区的过程中是否产生shuffle。
true为产生shuffle,false不产生shuffle。默认是false。
如果coalesce设置的分区数比原来的RDD的分区数还多的话,第二个参数设置为false不会起作用,如果设置成true,效果和repartition一样。即repartition(numPartitions) = coalesce(numPartitions,true)
- groupByKey
作用在K,V格式的RDD上。根据Key进行分组。作用在(K,V),返回(K,Iterable <V>)。
- zip
将两个RDD中的元素(KV格式/非KV格式)变成一个KV格式的RDD,两个RDD的个数必须相同。
- zipWithIndex
该函数将RDD中的元素和这个元素在RDD中的索引号(从0开始)组合成(K,V)对。
行动算子操作:
- count
返回数据集中的元素数。会在结果计算完成后回收到Driver端。
- take(n)
返回一个包含数据集前n个元素的集合。
- first
first=take(1),返回数据集中的第一个元素。
- foreach
循环遍历数据集中的每个元素,运行相应的逻辑。
- collect
将计算结果回收到Driver端。
- foreachPartition
遍历的数据是每个partition的数据。
- countByKey
作用到K,V格式的RDD上,根据Key计数相同Key的数据集元素。
- countByValue
根据数据集每个元素相同的内容来计数。返回相同内容的元素对应的条数。
- reduce
根据聚合逻辑聚合数据集中的每个元素。