AI应用推理服务流程-AI大模型-Agent
2025-05-28 08:46:36 6 举报一个典型场景的AI应用推理服务流程
作者其他创作
大纲/内容
1.用户发起请求到接入服务服务器2.接入服务异步请求限流服务，并在请求的UUID上等待Redis通知3.限流服务在排队完成或超时后通过Redis将限流结果通知给接入服务4.接入服务通过Redis查询用户信息、历史对话信息，作为请求的Prompt
异步获取推理结果
接入服务
用户
限流结果通知
请求
返回信息
Redis
限流服务
负载均衡、拉取请求
推理服务
返回相关信息
结果入队列
请求入队列
Milvus
查询用户、历史对话信息
向量搜索，RAG
返回
限流请求
0 条评论
下一页
