AI 应用架构(结合 MCP)
2025-11-24 14:27:10 0 举报
在这个时代,构建一个高效、可扩展、且安全的人工智能(AI)应用架构是至关重要的。结合微服务架构模式(Microservices-based architecture pattern,简称MCP),我们设计了一个分层的、模块化的AI应用架构。核心层包含数据处理和模型训练模块,这些模块负责处理输入数据,建立和调优机器学习模型。在之上,我们设定了服务层,它为上层应用提供各种AI服务API接口。这些服务可以独立部署、扩展和更新,符合微服务架构的基本原则。 修饰语方面,这个架构设计灵活、高效、可复用。它的模块化设计允许不同的微服务可以针对特定的AI功能独立开发和维护。此外,由于微服务的独立性,每个组件都可以选择最合适的技术栈来优化性能和开发效率。在安全方面,采用安全网关和灵活的认证授权机制确保了数据和服务的安全性和可靠性。这使得我们的AI应用架构不仅能够适应动态变化的技术需求,还能够确保系统的可靠性,完美服务于多样化的业务场景。
作者其他创作
大纲/内容
流程式编码式
DeepSeek
云原生API网关(南北向流量网关)
开源LLMs(FC GPU)
MCP Server/MCP Tool 自动发现普通API向MCP Tool的协议转换鉴权认证、安全、缓存
业务功能
OSS
Redis
LLM服务管理
节点B
API/路由统一管理流量统一管理(转发、负载)鉴权认证、安全、限流
手动配置
函数A
现存业务B
Serverless 应用引擎 部署 Dify
Device
CloudFlow 流程编排
函数B
函数C
开源LLMs
Mobile APP
节点C
各类出发器
.......
Gemini
服务提供商
节点A
LLMs API(百炼)
LLama 4
Web APP
OPenAI
通义千问
基于FC新开发
User
数据服务
云原生API网关(MCP网关)
SD / Flux
函数计算 Spring AI Alibaba/LangChain/...
现存业务服务0代码改造转换为MCP Server
多种部署方式的LLM
作为MCP Server注册
MSE Nacos(MCP Server注册中心)
函数D
LLama 3
DashVector
智谱AI
LLM 服务统一管理多API Key管理、LLM切换、Fallback鉴权认证、安全、限流、联网搜索
自动发现
传统现存业务
普通服务/MCP Server 元数据统一管理普通API/MCP Tool 定义统一管理服务配置/System Prompt 安全管理
容器服务 ACK 部署 Dify
MCP Server
现存业务A
云原生API网关(AI网关)
作为普通服务注册(Java微服务, GO)
OSS 触发器SLS 触发器Kafka 触发器RocketMQ 触发器DTS 触发器定时触发器......
0 条评论
下一页