Checkpoint 在 Flink 中是一个非常重要的 Feature，Checkpoint 使 Flink 的状态具有良好的容错性，通过 Checkpoint 机制，Flink 可以对作业的状态和计算位置进行恢复。

Flink 的 Checkpoint 有以下先决条件：

  • 需要具有持久性且支持重放一定时间范围内数据的数据源。例如：Kafka、RabbitMQ 等。这里为什么要求支持重放一定时间范围内的数据呢？因为 Flink 的容错机制决定了，当 Flink 任务失败后会自动从最近一次成功的 Checkpoint 处恢复任务，此时可能需要把任务失败前消费的部分数据再消费一遍，所以必须要求数据源支持重放。假如一个Flink 任务消费 Kafka 并将数据写入到 MySQL 中，任务从 Kafka 读取到数据，还未将数据输出到 MySQL 时任务突然失败了，此时如果 Kafka 不支持重放，就会造成这部分数据永远丢失了。支持重放数据的数据源可以保障任务消费失败后，能够重新消费来保障任务不丢数据。
  • 需要一个能保存状态的持久化存储介质，例如：HDFS、S3 等。当 Flink 任务失败后，自动从 Checkpoint 处恢复，但是如果 Checkpoint 时保存的状态信息快照全丢了，那就会影响 Flink 任务的正常恢复，当然我们重启任务的时候，需要将之前统计的pv、uv拿出来进行计算，也要用到状态。就好比我们看书时经常使用书签来记录当前看到的页码，当下次看书时找到书签的位置继续阅读即可，但是如果书签三天两头经常丢，那我们就无法通过书签来恢复阅读。

对于checkpoints机制来说，需要如下配置：

  • Checkpoint 语义：EXACTLY ONCE 或 ATLEAST ONCE，EXACTLY ONCE 表示所有要消费的数据被恰好处理一次，即所有数据既不丢数据也不重复消费；ATLEAST ONCE 表示要消费的数据至少处理一次，可能会重复消费。
  • 作业可以容忍 Checkpoint 失败的次数：默认值为 0，表示不能接受 Checkpoint 失败。

补充：
at most once：至多一次，消息可能会丢，但不会重复
at least once：至少一次，消息肯定不会丢失，但可能重复
exactly once：有且只有一次，消息不丢失不重复，且只消费一次。