文章目录


为了保证程序7x24小时工作,需要进行checkPoint对程序异常进行数据恢复


元数据检查点

主要包含在SparkConf信息,DStream的相关操作,例如转换与输出操作,队列中等待处理的job,因此元数据检查点主要用于Driver进程中恢复程序

数据检查点

DStream的检查点其实就是RDD的检查点,在有状态转换操作(依赖多个批次中的数据)需要设置checkPoint,因为随着时间推移,数据重算会耗费大量时间/