学习目录
- 一、Cache和Persist缓存
- 二、CheckPoint 检查点
- 三、缓存和检查点的区别☆☆☆（面试）
一、Cache和Persist缓存
基本介绍
格式：
RDD.Cache()
RDD.Persist(参数)
RDD 通过 Cache 或者 Persist 方法将前面的计算结果缓存，默认情况下会把数据以缓存在 JVM 的堆内存中。但是并不是这两个方法被调用时立即缓存，而是触发后面的 action 行动算子时，该 RDD 将会被缓存在计算节点的内存中，并供后面重用。
Cache和Persist的区别
Cache：默认持久化操作，只能将数据保存到内存中
Persist：既可以将数据保存到内存中，也可以将数据保存到磁盘中。如果需要保存到磁盘中，则给定参数，更改存储级别
存储级别如下：
object StorageLevel {
val NONE = new StorageLevel(false, false, false, false)
val DISK_ONLY = new StorageLevel(true, false, false, false)
val DISK_ONLY_2 = new StorageLevel(true, false, false, false, 2)
val MEMORY_ONLY = new StorageLevel(false, true, false, true)
val MEMORY_ONLY_2 = new StorageLevel(false, true, false, true, 2)
val MEMORY_ONLY_SER = new StorageLevel(false, true, false, false)
val MEMORY_ONLY_SER_2 = new StorageLevel(false, true, false, false, 2)
val MEMORY_AND_DISK = new StorageLevel(true, true, false, true)
val MEMORY_AND_DISK_2 = new StorageLevel(true, true, false, true, 2)
val MEMORY_AND_DISK_SER = new StorageLevel(true, true, false, false)
val MEMORY_AND_DISK_SER_2 = new StorageLevel(true, true, false, false, 2)
val OFF_HEAP = new StorageLevel(true, true, true, false, 1)常用如下
补充说明：
缓存有可能丢失，或者存储于内存的数据由于内存不足而被删除，RDD 的缓存容错机制保证了即使缓存丢失也能保证计算的正确执行。通过基于 RDD 的一系列转换，丢失的数据会被重算，由于 RDD 的各个 Partition 是相对独的，因此只需要计算丢失的部分即可，并不需要重算全部 Partition。
Spark 会自动对一些 Shuffle 操作的中间数据做持久化操作(比如：reduceByKey)。这样做的目的是为了当一个节点 Shuffle 失败了避免重新计算整个输入。但是，在实际使用的时候，如果想重用数据，仍然建议调用 persist 或 cache。
二、CheckPoint 检查点
基本介绍
格式：
RDD.checkpoint(路径)
checkpoint方法也是对数据进行缓存，而不同的是checkpoint需要落盘，需要指定检查点保存路径，保存的数据文件当作业执行完毕后，不会被删除。而Persist则是将数据溢写到磁盘上，只是临时文件，当作业执行完毕后文件会被删除。
同样checkpoint 操作并不会马上被执行，必须执行 Action （行动）算子才能触发
三、缓存和检查点的区别☆☆☆（面试）
（1）cache：将数据临时存储在内存中进行数据重用，会在血缘关系中添加新的依赖，一旦出现问题，可以重头读取数据
（2）persist：将数据临时存储在磁盘文件中进行数据重用，其中涉及到磁盘IO，性能较低，但是数据安全；如果作业执行完毕，临时保存的数据文件就会丢失
（3）checkpoint：将数据永久保存到硬盘文件中进行数据重用，其中涉及到磁盘IO，性能较低，但是数据安全；为了保证数据安全一般情况，会独立执行作业（相当于执行了两次作业）。但是为了提高效率，一般情况下是需要和 cache 联合使用（对 checkpoint()的 RDD 使用 Cache 缓存，这样 checkpoint 的 job 只需从 Cache 缓存中读取数据即可，否则需要再从头计算一次 RDD。） 执行的过程中，会切断血缘关系，重写建立新的血缘关系，checkpoint等同于改变数据源
