DS异步任务处理方案

shell任务

执行异步任务

任务ID参数： __TASK_ID__=task_001 传到下游任务中

下一环节任务

task_001 = ERROR【任务异常结束】

把任务的状态通过http接口保存到etcd

curl http://127.0.0.1:2379/v2/keys/task_xxx -XPUT -d valuespan classfont=\"READY\"

执行完异步任务后，调用etcd  http接口更新任务状态：DONE

task_001 = READY 【任务就绪】

task_001 = DONE【任务执行中】

基于dolphinscheduler的异步任务处理方案

curl http://127.0.0.1:2379/v2/keys/task_xxx -XPUT -d valuespan classfont=\"DONE\"

start

etcd 官方标准http接口

etcdK-V 数据库

生成任务ID

ETCD存储的任务状态

阻塞异步任务轮询ETCD检查任务ID，如果任务状态=DONE 就结束  阻塞