上一节简单介绍了Spark的基本原理以及如何调用spark进行打包一个独立应用，那么这节我们来学习下在spark中如何编程，同样先抛出以下几个问题。

  • Spark支持的数据集，如何理解？
  • Spark编程中常用到的操作？

一、RDD基础

　　1、RDD简介

　　在上一节的组件图Spark Core中我们简单提到了对弹性分布式数据集：RDD（Resilient Distributed DataSet），它表示分布在多个计算节点上可以并行操作的元素集合，是Spark主要得编程抽象。一般我们广为熟知的数值类型是整型、字符型等，那么RDD是包含这些任意数值类型的不可变对象。在实际编程中，和其他数值类型除了操作不同外并没有直观的区别。

　　2、惰性求值

　　为了节省空间和提高运算效率，Spark使用惰性求值的方式将一些操作合并到一起来减少计算数据的步骤，这就使得RDD支持两种类型的操作：转化操作和行动操作。转化操作会由一个RDD生成另一个新的RDD，而行动操作是会对RDD计算出一个结果，并将结果返回到驱动程序中或者存储到外部存储系统中。

　　转化操作是惰性求值的，意思就是在调用行动操作之前Spark是不会开始真正计算的，它只会使用谱系图来记录这些不同RDD之间的依赖关系，这样就可以在后期行动操作时按需计算真正需要的数据，也可以依靠谱系图在持久化的RDD丢失部分数据时恢复所丢失的数据。例如，在行动操作 first() 中，Saprk只需要扫描文件直到找到第一个数据为止，不需要读取整个文件。默认情况下，Spark的RDD会在每次行动操作时重新计算，如果多个行动操作重用同一个RDD，建议使用RDD.persist()，把该RDD缓存下来，避免不必要的重复计算。

　　那么如何区分结果是由转化操作还是行动操作计算而来的呢？可以观察结果的数据类型，转化操作返回的是RDD，而行动操作返回的是其他的数值型类型。

　　3、一般流程

　　每个Spark程序无外乎如下几个步骤：

　　（1）从外部数据创建出输入的RDD

　　（2）使用诸如 filter() 这样的转化操作对RDD进行转化，以定义新的RDD

　　（3）对需要重用的中间结果进行缓存

　　（4）使用行动操作来触发并行计算

二、RDD常用操作

　　1、创建RDD

　　以下两种创建RDD的方式相比，第一种较为常用，因为第二种方式需要整个数据集首先放在一台机器内存中。

　　（1）外部数据的读取



val test_rdd = sc.textFile("hdfs:///user/test.txt")



　　（2）驱动程序中的集合并行化



val test1_rdd = sc.parallelize(["pandas","noodles","dog"])
val test2_rdd = sc.makeRDD(["pandas","noodles","dog"])



　　2、转化操作

　　（1）针对RDD中各元素的操作

函数

作用

map()（常用）

将函数应用于RDD中每个元素，将返回值构成新的RDD

flatMap()（常用）

将函数引用于RDD中每个元素，将返回的迭代器的所有内容取出重新构成新的RDD

filter()（常用）

filter()的参数为布尔函数，返回满足该布尔函数的元素构成新的RDD

distinct()

去重

sample(withReplacement,[seed])

对RDD采样，以及是否替换

　　

　　（2）对RDD进行伪集合的操作

函数

作用

union()

生成一个包含两个RDD中所有元素的RDD，不去重。类似并集

intersection()

将两个RDD共同的元素构成新的RDD,去重。类似交集

substract()

在左边RDD中移除右边RDD中的内容，类似左连接

cartesian()

与另一个RDD笛卡尔积

 

　　3、行动操作

函数

作用

collect()（常用）

返回RDD中全部元素

count()（常用）

返回RDD中元素个数

countByValue()（常用）

返回各元素在RDD中出现的次数，返回类型为元组的集合

take(num)（常用）

返回RDD中num个元素

top(num)

返回RDD中最前面的num个元素

takeOrder(num)(ordering)

从RDD中按照提供的顺序返回最前面的num个元素

takeSample(withReplacement,num,[seed])

从RDD中返回任意些元素

reduce(func)（常用）

并行整合RDD中所有数据，类似sum

fold(zero)(func)

和reduce()一样，但是需要提供初始值

aggregate(zeroValue)(seq0p, comb0p)

和reduce()相似，但是通常返回不同类型的函数

foreach(func)（常用）

遍历RDD中每个元素使用传入的函数

 

　　4、持久化

 　　由于Spark RDD是惰性求值的，当我们每次调用行动操作时，都会重算RDD的所有依赖，如果多次行动操作使用同一个RDD，就会导致大量的重复运算。为避免这种现象，可以对数据进行持久化，也就是存储该RDD，保存在各自的分区中。出于不同的目的，可以为RDD选择不同的持久化级别，如下所示：

级别

使用的空间

CPU时间

是否在内存

是否在磁盘

备注

MEMORY_ONLY

高

低

是

否

 

MEMORY_ONLY_SER

低

高

是

否

 

MEMORY_AND_DISK

高

中等

部分

部分

如果数据在内存放不下，溢写到磁盘上

MEMORY_AND_DISK_SER

低

高

部分

部分

如果数据在内存放不下，溢写到磁盘上，在内存中放序列化后的数据

DISK_ONLY

低

高

否

是

 

　　scala中使用 persist() 进行缓存，unpersist()方法可以手动地把持久化RDD从缓存中移除。示例：



import org.apache.spark.storage.StorageLevel
val result = input.map(x => x*x)
result.persist(StorageLevel.DISK_ONLY)
println(result.count())
println(result.collect().mkstring(","))



 

结束语：纵使掌握了操作RDD的常用函数，但在实际运用中仍然会出现许多疑问。在做项目的过程中，我总结的一些踩坑经验会留在下一节中讲解~

参考：Spark大数据快速分析