任务
输出数据到server端
server
zmq 分发DAG
执行
executor
输入/输出通道
输入
当前任务是否为DAG最后一个任务
ZMQ接收DAG
单线程扫描队列创建source任务并提交线线程池执行
zmq 发送protobuf序列化后的数据
是
数据源读入数据
Put
source更根据编译生成对应存储系统的语句查询数据
返回数据
根据DAG任务链创建下一任务
数据逻辑处理
下一任务提交到线程池
阻塞数据接收完成
antlr4解析
client
编译优化生成DAG
关联当前任务的输入通道
Scheduler
新建输出通道
Rest API
反馈SPL执行结果
创建Source任并提交到线程池务
输出数据到下一任务输入通道
循环处理
上一任务输出通道读入数据
当DAG任务链最后一个任务执行后会将数据从输出通道流向server
初始化
DAG队列
发生ACK消息
当数据处理完成后DAG处理结束
zmq接收并反序列化，放入调度队列
输出
Get
当数据接收到一定量时当前任务会根据DAG任务链，寻找数据需要流向下一任务，创建并初始化这个任务并将数据放入到该任务的输入通道
否
protobuf序列化DAG
存储系统
线程池
初始化下一任务
Puller
执行器处理执行SPL逻辑DAG任务本身是链表构造，Scheduler只创建表头source任务，在任务中会创建下一任务并关联或新建数据通道；数据根据任务链的方向向任务通道流动，DAG末端任务数据会流向server端。目前分三类数据通道：1. 数据源通道 - 与数据源交互的数据通道； 协议与具体数据源类型强关联。 2. 内部数据通道 - 与Server端交互的数据通道；协议为zmq REQ-REP 模式。 3. 本地数据通道 - 任务链中间部分的数据通道；协议为本地内存队列。 DAG任务链头部采用数据源通道，尾部采用内部通道，中间采用本地通道，中间目前支持本地通道。
