RAG联合评测:检索变好,答案为什么仍然变差
将相关性标注、排名指标、忠实性、正确性与拒答分开测量,定位端到端回归发生在哪一层。
某次升级把Recall从0.5提升到1.0,但新增上下文包含旧版条款,生成器最终选了错误数字。仅报告召回提升会掩盖实际退化。RAG需要同时观察检索候选、上下文组织、答案声明和最终业务结果,并保留同一问题的全链路关联。
相关性标签首先需要范围
一条评测样本应包含问题、允许的租户与角色、业务日期、数据快照、可接受证据集合以及答案标准。问2024年的政策时,2025年新规即使词面相似也不一定相关。标签单位可以是文档、段落或声明,但不能把段落级命中与文档级gold直接比较。
多篇等价资料都能回答时,gold不是唯一一篇文档;枚举不完整会把新召回的正确证据误判为噪声。人工应检查候选池,按统一rubric标注不相关、部分支持、充分支持,并记录争议和仲裁。知识快照升级后标签也需版本化。
三种排名指标分别回答什么
Recall@k是前k项命中的相关项数量除以全部相关项数,关注找全。MRR使用首个相关项名次的倒数:相关文档位于第2和第4名时,RR为1/2,后一个命中不再改变它。nDCG处理分级相关:DCG@k为各项 (2^rel-1)/log2(rank+1) 之和,再除以理想排序的DCG。
例如相关度顺序为[0,2,1],DCG约为0+3/log2(3)+1/2=2.393;理想[2,1,0]的DCG约3.631,所以nDCG约0.659。报告要注明增益函数、k、宏平均或微平均、无相关项样本的处理。Recall不能独自表达相关项排在第一还是最后。
忠实性和正确性不能互换
忠实性检查答案声明是否由给定上下文支持。正确性检查答案是否符合可信事实与问题要求。答案忠实复述过期文档,可能忠实但错误;答案凭模型记忆说对事实,却没有提供证据,则可能正确但不忠实。引用链接存在仅是语法检查,还要评估引用对具体声明的支持与覆盖。
对必须查证的业务,不应奖励无证据猜对。也不能把所有拒答视为正确:可回答问题被拒绝是覆盖损失,无答案或无权限问题被自信回答是风险。按可回答/不可回答分组报告正确回答率、错误回答率、正确拒答率,再看已回答集合的支持率。只报告已回答准确率会让“几乎都拒答”的系统看起来优秀。
完整实验:召回提高但输出退化
以下为人工标注的两条样本,使用Python 3.13执行 python -X utf8 joint_eval.py。没有自动模型裁判;标签是教学输入。
"""人工标签的端到端指标分解;不调用LLM裁判。"""
def evaluate(rows):
recall=sum(len(set(row['retrieved'])&set(row['gold']))/len(row['gold']) for row in rows if row['gold'])
answerable=sum(bool(row['gold']) for row in rows)
coverage=sum(row['answered'] for row in rows)/len(rows) if rows else None
errors=sum(row['answered'] and not row['correct'] for row in rows)
supported=sum(row['supported'] for row in rows if row['answered'])
answered=sum(row['answered'] for row in rows)
return {'retrieval_recall':recall/answerable if answerable else None,'answer_coverage':coverage,'wrong_answers':errors,'support_rate':supported/answered if answered else None}
if __name__=='__main__':
a=[{'gold':['a','b'],'retrieved':['a'],'answered':True,'correct':True,'supported':True},
{'gold':[],'retrieved':[],'answered':False,'correct':True,'supported':False}]
b=[{'gold':['a','b'],'retrieved':['a','b','noise'],'answered':True,'correct':False,'supported':False},
{'gold':[],'retrieved':['noise'],'answered':True,'correct':False,'supported':False}]
print('方案A',evaluate(a));print('方案B',evaluate(b))实际输出:
方案A {'retrieval_recall': 0.5, 'answer_coverage': 0.5, 'wrong_answers': 0, 'support_rate': 1.0}
方案B {'retrieval_recall': 1.0, 'answer_coverage': 1.0, 'wrong_answers': 2, 'support_rate': 0.0}方案A在有答案样本上命中两条gold中的一条,所以Recall为0.5;两题只答一题,覆盖0.5,已回答支持率1。方案B把两条gold都找到,Recall为1,却在可回答和不可回答题上各答错一次。这个反例证明召回改善不蕴含答案改善,不代表任何具体RAG产品效果。
故障定位需要对照实验
先固定生成器,把旧新候选与gold证据分别输入,区分召回、上下文干扰和生成使用失败;再固定候选测试排序、压缩、上下文长度。检查例外是否被截断、来源是否串租户、旧新条款是否混合、提示是否把引用当装饰。多项同时改动会失去归因能力。
小样本平均值不稳定,要按问题配对比较并查看置信区间,按语言、长尾实体、时间敏感、表格、多跳和权限分层。记录每题成本与时延,使更慢更贵的方案不会仅凭质量分掩盖服务不可用。全无答案切片没有可用于计算Recall的分母,程序返回None;空评测集的覆盖率也返回None。汇总时保留这个“没有适用样本”的状态,并同时展示样本数,避免把未定义指标当成零分。
参考依据
Sentence Transformers评估接口提供检索指标的实现入口;ALCE论文讨论带引用生成的不同评价维度。标签规范与任务分布仍需由自己的业务定义。
综合边界推演与面试追问
同题gold={a,b},方案A只取a却给出受支持的有限回答;方案B全取并加旧版噪声却答错。Recall从0.5到1不证明答案变好;MRR只看首个相关位置,nDCG还表达分级相关的排序收益。
增加k提高覆盖也带入冲突和预算压力;更保守拒答提高已回答准确率但降低覆盖。相关性标签要按日期范围、证据粒度和等价来源定义,不能把未列入单一gold的正确来源都判错。
忠实但错误常是过期证据,正确但无依据可能是记忆猜中;分别标事实正确性与上下文支持。固定生成器对旧新候选和gold证据回放,再定位排序/压缩/截断。无答案题单列正确拒答与误答,不能设Recall零分母为满分。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
MRR与Recall分别忽略了什么?
参考思路与常见误区
MRR只看首个相关项,忽略之后相关项是否找全;Recall看覆盖但不体现命中排序。分级相关可用nDCG补充,并注明k与无gold处理。
常见误区:三者只是同一个比例的不同名字。
忠实但错误的答案如何出现?
参考思路与常见误区
它准确复述了过期或不适用的上下文。忠实性检查相对给定证据的支持,正确性检查可信事实与问题要求,二者都要评估。
常见误区:有上下文支持就一定正确。
为什么全拒答方案可能有很高已回答准确率?
参考思路与常见误区
它挑选极少容易题回答,分母缩小。应联合报告回答覆盖、可回答题拒答率、错误回答及无答案正确拒答率,不能只看选择后的集合。
常见误区:不答的样本可以全部从评测中删除。
Recall上升答案下降,怎么定位?
参考思路与常见误区
固定生成器比较新旧候选和gold上下文,检查噪声、版本冲突、截断与引用;再固定候选测试重排压缩。一次只改变一层以保留归因。
常见误区:继续增加k一定解决问题。
相关性gold只列一篇文档会有什么风险?
参考思路与常见误区
可能遗漏等价正确来源,把有效新召回误判为不相关。需要候选池复核、段落或声明级rubric、版本与范围定义和争议仲裁。
常见误区:标签永远完整,不需要随语料更新。