

首页  思维导图  详情



RAG 的评估体系怎么做

2026-04-20 15:46:36   0  举报





AI智能生成

RAG 的评估，不只是算一个分数，而是判断这个系统是不是稳、是不是准、是不是能上线。

召回率

准备率

RAG

RAG 评估

模版推荐

作者其他创作

大纲/内容

RAG 的评估，不只是算一个分数，而是判断这个系统是不是稳、是不是准、是不是能上线

为什么评估体系

RAG 的主要目标

让模型更准（减少幻觉）

让系统更稳（保证一致性和可复现）

解决问题

检索有没有找到对的材料？

生成是否忠于这些材料？

整体体验是否稳定、可持续？

第一层：检索评估（Retrieval Evaluation）

评估指标要聚焦在召回率与精确率的平衡上

要把把“召回正确率”和“生成可靠性”结合起来看

常用指标

Recall@K

检索结果中包含“正确文档”的比例，代表系统覆盖面

举例：在 10 条候选中，若有 8 条包含参考答案，则 Recall@10 = 0.8

越高越好，但不能盲目追求高召回

Precision@K

检索结果中“真正相关”的比例

举例：若召回 10 条里，只有 6 条真的相关，则 Precision@10 = 0.6

过低意味着结果噪声太多，会拖垮生成效果

MRR（Mean Reciprocal Rank）

衡量“第一个正确答案出现的排名”

如果正确答案常常排在前两位，说明模型排序能力好

nDCG（Normalized Discounted Cumulative Gain）

加权排序指标，越靠前的相关文档权重越高

第二层：生成一致性评估（Generation Consistency）

评估指标重点是：生成内容是否忠于检索材料

常用指标

自动化指标

Faithfulness Score（忠实度）

计算生成答案与检索材料在语义空间的相似度

举例：用 embedding 相似度判断模型是否“引用了”相关内容

Groundedness Score

判断模型输出的每一条结论，是否都能在检索片段中找到依据

Factual Consistency（事实一致性）

基于 LLM 自检的思路，让另一个模型去判断答案是否自洽、是否编造

案例

金融领域，这些指标往往结合向量检索 + 大模型自检完成

1.把模型回答与知识片段都转为 embedding

2.计算每个句子与对应知识段落的余弦相似度

3.如果低于阈值（如 0.65），就标为“潜在幻觉”

这套方式简单高效，可在上线前快速筛掉不稳定样例

人工评测指标

有些指标机器算不出来，需要人判断

正确性（Correctness）

回答是否事实正确

完整性（Completeness）

答案是否覆盖了核心信息

可读性（Fluency）

语言自然、表达流畅

引用充分性（Attribution）

是否标明信息来源

这种方式常见于金融、医疗、政务等对合规性要求极高的领域

第三层：系统整体评估（System Evaluation）

工程指标

模型回答再“聪明”，如果速度慢、结果不稳、更新滞后，也无法用于生产

延迟（Latency）

检索 + 生成全流程响应时间

吞吐（Throughput）

高并发下性能稳定性

缓存命中率（Cache Hit Rate）

是否重复计算

可复现性（Reproducibility）

同样问题是否输出一致

时效性（Recency）

知识库更新后，是否能实时反映到答案中

企业应用场景（比如智能客服、知识问答平台），<br>工程指标的重要性往往高于生成效果

若“用户等 5 秒没结果”，就已经是失败

RAG 评估的三个阶段思路

离线验证（Offline Eval）

在模型上线前，使用标注集进行静态评估

1.准备问题-答案对

2.对应检索结果

3.测 Recall@K、Faithfulness、BLEU、ROUGE

阶段目标

发现显性问题，比如检索偏、分块错误、幻觉过多

灰度验证（A/B Test）

在部分真实流量上测试新版本效果

对比用户满意度或人工打分

对比生成内容被“引用”的比例

对比响应速度

A/B 测试能判断：改进方案是否真的带来收益。

在线监控（Online Eval）

当系统上线后，仍需持续监控。

Error Rate生成失败或超时的比例

Rejection Rate模型拒答率（说明数据覆盖不足）

Drift Monitor检测知识库更新后，模型响应是否偏离标准

用户点赞率终端用户的反馈数据，用于评估可用性

金融等高风险行业的评估重点

在金融、医疗等行业，RAG 系统的评估要更严格

关注重点

有没有编造信息

回答是否可追溯

引用材料是否权威、时效性是否合规

多重验证

检索层面

必须来源于标注过的研报文档（非网络数据）

生成层面

答案需保留引用 ID，例如 [Doc12]

审查层面

人工抽样检测是否“引用不一致”或“总结错误”

评估体系的目标不是“生成多流畅”，而是“回答一定要对”

指标的平衡权重

评估体系归根结底是一种平衡

Recall 太高，容易引入噪音

Precision 太高，又容易漏掉关键信息

生成过度约束，会损失表达能力

生成过于自由，又会幻觉频出

不要追求单一指标最优，而是追求可控与可解释

要考虑清楚，我们为什么选这些指标 <br>每个指标的权重它们之间的取舍逻辑

 Collect

Get Started

AI Agent 全技术体系：Rag+Agent+Prompt+Context

 Collect

Get Started

产品经理做什么？怎么做？

 Collect

Get Started

知识库 +RAG 一体化建设

 Collect

Get Started

竞品分析怎么做





0 条评论

下一页