LLM应用架构图

该图展示了典型的LLM应用架构设计。整体采用分层结构，将系统划分为用户层、应用服务层、检索层、LLM服务层、外接工具层，以实现模块解耦合系统可扩展性。 系统的入口为 User / Client Application。用户请求首先进入 Application Service 层，该层负责应用逻辑处理，是整个系统的控制中心。其中 API Gateway 用于统一接收和管理请求，Prompt Builder 负责构建和组织提示词（Prompt），而 Agent / Workflow Controller 用于执行任务编排与流程控制，使系统能够根据不同场景调用检索、模型或外部工具。 在需要知识增强的场景下，系统会进入 Retrieval Layer（检索层）。该层实现典型的 RAG（Retrieval-Augmented Generation）流程，包括 Query Embedding 将用户问题向量化、Vector Search TopK 在向量数据库中检索相关内容、Rerank 对候选文档进行相关性排序，以及 Context Builder 将检索结果组织为模型输入上下文。检索所需的向量数据存储在 Vector DB（向量数据库） 中。 随后，构建好的上下文会发送至 LLM Service（模型服务层）。该层通过 LLM Service Adapter 提供统一的模型调用接口，使系统能够灵活接入不同推理引擎或模型服务，例如 OpenAI API、vLLM 推理服务或 TGI（Text Generation Inference）。这种设计可以实现模型的灵活替换与扩展。 此外，系统还支持调用 External Tools（外部工具层），例如 Search API、业务系统 API 或数据库。通过 Agent 或工作流控制器，模型能够利用这些工具获取实时数据或执行具体业务操作，从而扩展模型能力。 最终，模型生成的结果会经过应用层处理后返回给用户，形成完整的 LLM 应用服务流程。整体架构通过清晰的层次划分，使系统在 可扩展性、可维护性和模型可替换性方面具有良好的工程实践基础。