AI
推荐
模板社区
专题
登录
免费注册
首页
流程图
详情
AI应用推理服务流程-AI大模型-Agent
2025-05-28 08:46:36
6
举报
分享方式
免费使用
一个典型场景的AI应用推理服务流程
AI应用
推理服务
MCP
RAG
Prompt
模版推荐
作者其他创作
大纲/内容
1.用户发起请求到接入服务服务器2.接入服务异步请求限流服务，并在请求的UUID上等待Redis通知3.限流服务在排队完成或超时后通过Redis将限流结果通知给接入服务4.接入服务通过Redis查询用户信息、历史对话信息，作为请求的Prompt
异步获取推理结果
接入服务
用户
限流结果通知
请求
返回信息
Redis
限流服务
负载均衡、拉取请求
推理服务
返回相关信息
结果入队列
请求入队列
Milvus
查询用户、历史对话信息
向量搜索，RAG
返回
限流请求
收藏
立即使用
大数据平台_数据治理平台_大数据
收藏
立即使用
研发流程_项目开发流程_项目开发时间管理
收藏
立即使用
AI大模型Agent平台架构图_Agent_大模型应用
收藏
立即使用
AI大模型应用全景视图-大模型应用-AI应用开发-AI架构图
DayDayUp
职业：研究生
去主页
Collect
Get Started
AI Agent架构图
Collect
Get Started
AI工程师能力图谱
Collect
Get Started
AI大模型应用全景分层架构-大模型
Collect
Get Started
大模型AI应用全栈架构
评论
0
条评论
下一页
Document
