dataflow
2017-04-21 00:23:47 0 举报
Dataflow是一种数据处理模型,它通过将数据流从源节点传输到目标节点来处理数据。在Dataflow中,每个节点都是一个计算单元,它可以对数据进行转换、过滤和聚合等操作。数据流是按照预定的路径在节点之间传输的,这个路径可以是线性的,也可以是复杂的网络结构。Dataflow模型的一个重要特点是它的并行性,多个节点可以同时处理数据,从而提高了数据处理的效率。此外,Dataflow还具有可扩展性和容错性,可以根据需要动态地增加或减少节点,而且在某个节点出现故障时,系统可以自动地进行恢复。总的来说,Dataflow是一种高效、灵活且可靠的数据处理模型,被广泛应用于大数据处理、机器学习等领域。
作者其他创作
大纲/内容
本地缓存
Work
Worker
ACK
TaskFinished
worker
Local Akka System
Frontend
未提交Work的缓存
磁盘
WorkerQueue
WorkRunFailed
将磁盘的数据存入内存
WorkQueue
ConnectionBuildAck
Master
0 条评论
回复 删除
下一页