RAG 全链路:从知识更新到带证据的回答
沿一条退款规则追踪采集、索引、检索、上下文和引用,区分检索失败与生成失败。
客服问“退款期限是多少”,模型参数里可能保留旧规则。把新规则放进数据库还不够:应用必须在回答前找到正确版本,把内容交给模型,并检查答案引用的证据是否真的支持结论。RAG 把这条外部取证路径加入生成过程。
两条流水线,在索引版本处相遇
离线入库通常经过采集、解析、清洗、分块、元数据与权限继承、向量或词法索引构建。这里的“离线”指不在用户请求的关键路径上,不一定每天批量运行;增量更新也可以持续进行。在线查询经过认证、查询理解、检索、重排、上下文组织、模型生成、引用检查与输出。
假设退款规则从7天改为14天。先生成新版本的所有块与索引,再切换可读版本,比先删除旧索引再逐块写新索引更容易避免半更新状态。删除与权限收回也要传播到检索索引、缓存和派生摘要。文档原件已更新,但索引仍是昨天的版本,就是一种入库时效故障。
搜索系统可以在检索后把结果列表交给用户。RAG 继续把结果当作生成条件,组织为回答。因此“检索返回了正确段落”只证明中间环节成功,不能证明最终回答正确。生成可能忽略否定条件,把多个版本拼在一起,或者给一个不存在的引用。
做一个能逐步检查的微型链路
保存下面完整程序为 rag_trace.py,用 Python 3.13 执行 python -X utf8 rag_trace.py。Windows 也可用 py -3.13 -X utf8 rag_trace.py。示例使用空格词匹配检索、原文抽取回答,没有调用语言模型;它验证更新、来源和租户过滤是否接通。
"""固定文本的检索/证据追踪;输出是规则抽取,不调用生成模型。"""
from dataclasses import dataclass
@dataclass(frozen=True)
class Document:
id: str
tenant: str
revision: int
text: str
def retrieve(query, tenant, documents):
terms=set(query.split())
allowed=[doc for doc in documents if doc.tenant==tenant]
scored=[(len(terms & set(doc.text.split())),doc) for doc in allowed]
return [doc for score,doc in sorted(scored,key=lambda x:(-x[0],x[1].id)) if score>0]
def answer(query, tenant, documents):
hits=retrieve(query,tenant,documents)
if not hits:return {'answer':'证据不足','sources':[]}
doc=hits[0]
return {'answer':doc.text,'sources':[f'{doc.id}@{doc.revision}']}
if __name__=='__main__':
docs=[Document('refund','A',1,'退款 时限 7天'),Document('refund','B',1,'退款 时限 30天')]
print('初次查询',answer('退款 时限','A',docs))
docs=[Document('refund','A',2,'退款 时限 14天'),docs[1]]
print('发布新版本',answer('退款 时限','A',docs))
print('没有权限',answer('退款 时限','C',docs))
print('缺少证据',answer('发票 抬头','A',docs))初次查询 {'answer': '退款 时限 7天', 'sources': ['refund@1']}
发布新版本 {'answer': '退款 时限 14天', 'sources': ['refund@2']}
没有权限 {'answer': '证据不足', 'sources': []}
缺少证据 {'answer': '证据不足', 'sources': []}同一查询先得到 refund@1 的7天,再得到 refund@2 的14天。租户 C 看不到 A/B 的内容;未知发票问题没有匹配证据,返回证据不足。把 allowed 改成全部文档会产生越权风险;把来源版本删掉后,即使看到“退款14天”,也难以确认答案基于哪个快照。
真实模型接入时,可以给每段证据一个稳定引用 ID,让模型输出“结论+引用 ID”,服务端再核对 ID 属于本次允许的候选集。但“ID 有效”仍不代表段落支持该结论,需要事实与引用支持度评测。不要仅依靠提示词要求模型自行决定是否有权限。
检索、微调、长上下文分别适合什么
| 需求 | 优先考虑 | 仍需解决 |
|---|---|---|
| 每日变化、需追溯来源的业务规则 | 外部知识检索 | 更新时效、权限、召回与证据支持 |
| 输出风格、格式或任务行为反复不稳定 | 提示示例或适配训练 | 数据质量、泛化与回归 |
| 单次任务资料量有限且必须全局阅读 | 直接长上下文 | token预算、位置效应、成本与信息筛选 |
| 大量材料,只需其中少部分回答 | 检索后组织上下文 | 检索漏召回和上下文噪声 |
这些方案可以组合。训练可改善检索器或回答行为,长上下文可容纳更多检索证据;微调并不会天然提供逐条知识删除、实时更新和访问隔离能力。反过来,RAG 也不会自动教会模型某种新的计算方法。应先判断失败来自知识缺失还是行为能力,再选方法。
沿中间产物定位失败
先确认原始材料包含答案,且解析后的文字没有丢失关键条件。再确认正确块进入索引、元数据过滤没有误排除它。接着查看候选排名和重排结果、最终送入模型的上下文,以及输出的结论和引用。这个顺序把“问答不好”拆成可检查的问题。
如果正确文档根本不存在,增大 top-k 无法补救;如果证据被截断在上下文预算之外,换 embedding 未必有效;如果上下文完整而回答仍篡改数字,就要检查生成约束和回答评测。日志应记录文档/块版本、阶段耗时和必要的匿名标识,敏感原文不应默认写入所有日志。
综合边界推演与面试追问
假设周一政策7天、周二改14天,查询发生在周二。离线先发布v2块与索引,在线查询带tenant=A/version=2;检索返回v2后,生成仍回答7天时,错误已不在检索。普通搜索可以只显示v2原文列表;RAG还要逐声明核对“14天”是否得到该原文支持。
每天变更的事实优先考虑可更新检索;固定表达风格可考虑微调;一份已知且放得下的短文可直接给长上下文。选择还受权限、更新成本、引用和上下文预算约束,不按文档数量单独决策。
先核对源文件哈希与索引可见版本,再看召回ID、最终上下文与答案声明。若v2没有进入候选,查入库/过滤;若已进入但答错,查截断、冲突和生成使用。面试中回答“RAG能更新事实”时,应同时说明索引更新并非即时、生成仍会出错。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
知识每天变化,为什么通常先考虑检索而不是重新微调?
参考思路与常见误区
检索把可更新、可删除、带版本的事实保存在外部存储,更新后可以追踪引用与访问权限。微调更适合改变任务行为或表示,但不是逐条事实实时更新和删除的直接接口。仍需验证索引发布时效,不能把数据库更新当作检索已经更新。
常见误区:认为微调后模型一定记住所有新事实,或认为RAG不需要更新机制。
正确段落已在检索前十名,答案却错了,接下来检查什么?
参考思路与常见误区
看重排是否保留它、最终上下文是否因预算截断或去重而丢失、版本是否冲突,再检查生成是否忽略否定和引用支持。保留各阶段产物可区分召回、上下文组织与生成失败。
常见误区:直接继续增大top-k,忽略正确证据可能根本没有送入模型。
搜索结果列表和RAG回答增加了哪些不同责任?
参考思路与常见误区
RAG在检索后还需要组织证据、生成结论、处理证据不足并核对引用。候选相关性与答案被证据支持是不同指标,有效引用ID不保证引用段落支持答案。
常见误区:把有链接的答案自动当作有依据的答案。
文档改为14天后,怎样避免读到半更新的规则?
参考思路与常见误区
为新版本完成解析、分块和索引写入,检查完整性后切换可读版本;查询和缓存携带版本标识,旧块被删除或过滤。父子块及来源引用应使用一致快照,保留回滚路径。
常见误区:先删除全部旧块再逐条补新块,期间仍把索引当完整。
让模型看见全库内容再提示它不要泄密,可以代替权限过滤吗?
参考思路与常见误区
不能。可信代码必须确定用户权限,并限制检索、上下文和最终引用的可见范围。模型提示不是授权边界;缓存、父块展开、日志和派生摘要也需保留隔离。
常见误区:认为模型回答时自觉隐藏就等于数据没有泄漏。