Spark最基本、最根本的数据抽象



RDD基于内存，提高了迭代式、交互式操作的性能



RDD是只读的，只能通过其他RDD批量操作来创建，提高容错性    另外RDD还具有位置感知性调度和可伸缩性



RDD只支持粗粒度转换，记录Lineage，用于恢复丢失的分区，从物理存储的数据计算出相应的RDD分区



 



RDD的5个主要属性：



1.一组分片，默认的分片个数等于core数。BlockManager进行分配。




 



2.一个compute计算分区函数，对迭代器进行复合，以分片为单位



 



3.RDD之间的依赖关系，使数据丢失时，只对部分分区数据重新计算



 



4.一个partitioner分片函数，分为基于Hash哈希和Range范围的，只有key-value的RDD才有



 



5.一个列表，存储partition的优先位置



 



 



两种方式创建RDD：



  1. 已存在的集合创建
  2. 外部数据集创建

 



 



RDD的转换：





 



 



RDD的动作：





 



 



RDD的缓存：



也称为持久化，实现了重用，是迭代式算法和交互式查询的关键



通过cache（）方法标记为缓存



 



 



RDD的检查点：



避免缓存丢失过多带来的计算开销



调用org.apache.spark.rdd.RDD#checkpoint()指定检查点



 



 



RDD的依赖关系：



 



窄依赖和宽依赖



窄依赖：一个parent RDD的partition最多被子RDD的一个partition依赖



宽依赖：多个子RDD的partition依赖同一个parent RDD的partition



 



窄依赖包括的函数：



map、filter、union，仅仅和已知的partition进行join，都是窄依赖，不会引入昂贵的shuffle，partition互相独立，计算任务可以并行执行



 



宽依赖包括的函数：



groupByKey、需要parent RDD的所有partition进行join，都属于宽依赖，需要shuffle过程



支持两种shuffle manager，hash和sort



 



 



 



DAG生成：



RDD的依赖关系，生成了逻辑上的DAG



Spark根据宽依赖将DAG划分成不同的stage



 



 



RDD的计算：



一系列转换后，最后一个RDD触发动作，生成Job，划分到Task中，提交集群上的计算节点，最终由Executor执行计算



task分为ShuffleMapTask和ResultTask，其中为结果生成的ResultTask被发送到Executor中



 



 



缓存的处理：



cacheManager，RDD可更简单从Storage读写。



通过getOrCompute判断是否计算



 



 



checkpoint处理：



没有缓存的情况下，判断是否有checkpoint，没有就开始计算



 



 



RDD的容错机制：



基于Lineage



stage之间的依赖关系可以认为就是Lineage



Tachyon 两个维度容错，元数据容错（元数据保存到Image文件中，并保存变化到EditLog中），另一个就是Lineage容错机制



 



 



最后强调：RDD不需要物化！！