Flink内部容错机制
定义
作用
提供自定义保存镜像的功能，创建保存点使用的算法和检查点完全相同，不能自动创建，需要手动创建
有计划的创建保存点不仅可用于故障恢复，还可用于手动备份、版本迁移，暂定和重启应用
定义
作用
特点
执行原理
执行步骤
实现算法
对所有任务的状态做保存，在这个时间点上是所有任务都恰好处理完一个相同的输入数据的时候
在出现故障的情况下，保证Flink内部的状态一致性，是Flink故障恢复机制的核心
可以保证Flink的exact-once，并且不需要牺牲性能
异步分界线快照 ，所有任务的状态都会做一份快照，保存状态和数据计算异步执行，边保存状态边对数据进行计算，所有状态都完成JobManager会完成checkpoint的保存
在执行Job时会定期保存状态的一致性检查点，如果故障产生，从最近的检查点恢复Job的状态并重新启动处理流程
检查点保存
出现故障
重启应用
从checkpoint中读取状态并将状态重置
处理检查点到发生故障之间的所有数据
并行的两个Source任务读取两个输入流
JobManager向每个source发送一个带有新检查点Id的信息，通过这种方式启动检查点
Source将状态写入检查点，状态后端在状态存入检查点后返回通知source任务，source任务向JobManager确认检查点wanc
barrier向下游传递，sum任务会等待所有输入分区的barrier到达，对于已经到达的分区，继续到达的数据会被缓存，未到达的分区，数据正常处理
sum任务收到所有输入分区的barrier后会将任务状态保存到状态后端的检查点中，barrier继续向下游分发
向下游分发检查点barrier后，sum任务继续正常处理数据
sink任务向JobManager确认状态保存到checkpoint，所有的任务都确认已成功将状态保存到检查点，一个新的检查点才算真正的完成了
Chandy-Lamport算法的分布式快照
检查点分界线 Checkpoint Barrier
将检查点保存和数据处理分离开，不暂停整个应用
利用分界线把一条流上数据按照不同的检查点分开，分界线之前数据引起的状态更改属于当前分界线所属的检查点，分界线之后数据引起的更改，包含在之后的检查点中
依赖
执行步骤
一致性检查点 checkpoint
保存点 savepoint
端到端状态一致性
内部保证-checkpiont
source端-可记录的偏移量位置
sink端-故障恢复时，不会有数据重复写入
幂等写入
事务写入
除了Flink内部流处理的一致性外还需要保证整个流处理过程中source和sink的一致性
基本含义
实现方法
