Sink WAL设计
2016-09-09 10:08:46 0 举报Sink WAL（Write-Ahead Logging）是一种数据库系统设计中的技术，用于确保数据的持久性和一致性。它通过在数据写入磁盘之前先将日志记录写入日志文件来实现。当数据库需要恢复时，可以通过读取和重放日志文件中的记录来将数据库状态恢复到某个一致点。Sink WAL的设计使得数据库系统具有高可用性、容错性和可扩展性。
作者其他创作
大纲/内容
flush exactly-once state内有效checkpointid
Writer
删掉已完成checkpointID
接收到checkpoint
sendValue
restore
获取exactly-once state内有效checkpointid
关闭并获得句柄
ExactlyOnceState
CheckpointStateOutputView
checkpointID入库JDBC
写到checkpoint state
保存当前exactly-once state
MorphlingSinkOperator
JDBCCommitter
接收到数据
从broadcast内加载
恢复exactly-once state
checkpoint完成
完成checkpointID
判断checkpoint是否已完成
加入新的checkpoint state（id和时间）
落盘
删掉对应的 CheckpointStateOutputView
0 条评论
下一页
