

首页  思维导图  详情



RAG 的首字响应速度优化

2026-04-17 16:43:36   0  举报





AI智能生成

RAG 首字延迟（TTFT）怎么优化？

RAG

TTFT

高并发

高可用

AI 工程化

模版推荐

作者其他创作

大纲/内容

首字延迟到底卡在哪

RAG 的全链路

Embedding

向量检索（Milvus / Chroma / Faiss / PgVector）

Prompt 拼装

大模型生成（LLM Completion / Streaming）

主要瓶颈

Embedding API 等待时间

向量检索耗时

系统缺乏并发

系统缺乏缓存

优化 TTFT，本质就是“把 Embedding 和检索变快，<br>把重复计算干掉，把链路做成流水线”

Embedding 阶段

Embedding 是行业里“最容易被忽略的延迟来源”，“来一条算一条”，那必然会慢

优化方向

批处理（Batch Embedding）

大模型的Embedding API 支持一次输入多个文本

例如将 N 个 chunk：["文本1", "文本2", "文本3", ...]，一次性扔进去算向量

好处

减少网络往返延迟

提高吞吐量

减少 API request 限流风险

注意 token 限制，按 token 切批即可

异步并发（asyncio）

单线程逻辑

发请求

等待

发下一个请求

再等

CPU 大部分时间在“等”

异步并发模型

你等 API 的时候，CPU 去安排别的请求

整体吞吐可以提升 5~10 倍

经验值：5～10 个并发最稳

缓存（Embedding Cache）

Embedding 最“浪费钱”的地方就是：重复调用

常见问题

用户各种用词相近的提问

FAQ 类问题

编写 RAG 项目时自己不断调试

策略

把 query → vector 缓存在 Redis / KV 里

缓存命中率甚至能达到 30～50%

对于语料库 embedding，要提前离线算好

查询时就不需要临时生成 embedding

向量检索阶段

向量检索的速度差异

朴素暴力检索

几十毫秒～几百毫秒

HNSW / IVF 索引

几毫秒级

加副本、分区、过滤

亚毫秒级

做法

1. 建索引（HNSW / IVF）——别用暴力检索

HNSW 是公认在“速度 + 精度”之间平衡最好的 ANN 索引

HNSW 是靠增加“预建联结图”的方式减少搜索路径，所以对百万级向量性能非常好

Milvus HNSW 参数

M：控制图连边数量

efConstruction：控制建索引质量

efSearch：控制搜索精度与速度

经验值

M=16

efConstruction=128

efSearch=64

2. 分区 / 分片（Partition + Sharding）——让搜索范围更小

如果你把所有向量丢在同一个集合里，那系统必须“全库搜索”

能直接减少 50%～90% 的检索范围。

例如

按“主题/时间/来源”分区

只查某部门文档

只查某业务线的知识库

查询时只查对应分区

只查最近 30 天的文档

3. 连接池 + 批量查询——把网络往返次数砍掉

Milvus 支持

一次查多个 query vector

多连接并发查询

多副本分摊查询负载

做业务时，如果你要查多个 chunk，就批量查

减少网络往返就是最快的优化。

4. GPU 加速（可选）

GPU 版本向量数据库

成本高

运维复杂

只适合极端场景

适用场景

高频查询（推荐、广告、电商搜索）

向量库千万级以上

对延迟要求苛刻

系统层优化

真正的能大幅降延迟

异步流水线架构

全链路异步化（Async Pipeline）

传统架构

Embedding → 检索 → 拼Prompt → LLM

全链路异步

embedding 等待时可以处理检索

检索等待时可以准备 prompt

多个用户请求不互相阻塞

目标

更高 QPS

更低首字延迟

更充分利用 CPU / IO

缓存体系

三层缓存体系（Embedding / Retrieval / Answer）

Embedding 缓存

避免重复算向量。

检索结果缓存

同样的 query，不需要每次都查向量库。

答案缓存（FAQ）

如果答案固定，那直接返回，甚至不需要走 RAG。

目标

API 调用次数

Milvus 查询次数

LLM 调用次数

减少至少 30%～60%

负载均衡

多副本 + 多节点（水平扩展）

高并发业务

开多个 Query Node

设置多个副本 replica

LLM 多实例负载均衡

总结

RAG 的首字延迟主要卡在 embedding 和向量检索

embedding 方面通过批处理、异步并发和 KV 缓存减少等待，向量检索通过 HNSW 索引、分区过滤、批量查询缩小范围。

系统层面用全链路异步流水线，并辅以 embedding / retrieval / answer 三层缓存，整体能把延迟降低几十到上百毫秒。”

 Collect

Get Started

优化步骤

 Collect

Get Started

LLM、RAG、Agent的关系

 Collect

Get Started

速度

 Collect

Get Started

提高页面响应速度的方式





0 条评论

下一页