spark实验 rdd综合实例 spark rdd原理

RDD定义

RDD（Resilient Distributed Dataset）叫做弹性分布式数据集，是Spark中最基本的数据处理模型。代码中是一个抽象类，它代表一个弹性的、不可变、可分区、里面的元素可并行计算的集合。

spark的最小计算单元RDD，通过组合，让功能越来越强大。

装饰者设计模式，逐层的增加功能的扩展。如下图

RDD的数据只有在调用collect方法时，才会真正执行业务逻辑操作。之前的都是功能扩展，RDD是不保存数据的。

执行原理

Spark框架在执行时，先申请资源，然后将应用程序的数据处理逻辑分解成一个一个的计算任务。然后将任务发到分配资源的节点上, 按照指定的计算模型进行数据计算。最后得到计算结果。

在Yarn环境中，RDD的工作原理:

1)启动Yarn集群环境

2)Spark通过申请资源创建调度节点和计算节点

3)Spark框架根据需求将计算逻辑根据分区划分成不同的任务

4)调度节点将任务根据计算节点状态发送到对应的计算节点进行计算

从以上流程可以看出RDD在整个流程中主要用于将逻辑进行封装，并生成Task发送给Executor节点执行计算。

创建RDD

1.直接创建
parallelise
makeRDD(底层也是parallelise)

2.从文件中创建
textFile (以行为单位读取数据)
结果：
文件内容第一行
文件内容第二行…

wholeTextFile（以文件为单位读取数据）
结果：
（文件路径，文件内容）

3.从集合中创建

RDD 算子

分为两种 转换算子 和行动算子

转换算子

功能的补充封装 将旧的RDD包装成新的RDD
比如 map flatmap

行动算子

触发任务的调度和作业的执行
比如 collect