Agentic与Adaptive RAG:让再次检索有理由,也有终点
拆解检索决策、Self-RAG与CRAG的区别,用可执行控制器观察重复、预算和证据不足的停止。
用户问“普通订单和定制订单是否都能退款”,第一次检索只找到普通订单规则。此时直接回答“都能”是把缺失证据当成肯定;继续搜索定制例外才有业务理由。但如果第二次仍返回同一段普通规则,第三次换个说法重复检索并没有减少不确定性。
生成过程中也可以再次检索:先生成内部草稿或声明列表,检查其中缺证据的实体、日期与关系,再用这些缺口构造查询,获得新证据后修订答案。例如先查出公司A收购B,再发现“收购金额”无来源,就围绕该交易金额检索第二轮;不能把第一轮猜出的金额当作查询事实并最终自证。已向用户流出的未核实断言难以撤回,因此应在声明通过支持性检查后再输出,或显式标记尚未确认。每轮仍计入统一预算,连续两轮无新增可靠证据时停止并保留未知。
先定义状态,再谈自主性
控制器状态至少包含原问题与约束、已知证据、尚缺事实、尝试过的查询、剩余调用与时间预算、错误信息。决策可以是直接回答、检索、澄清或结束。无需外部资料的文本改写可能直接执行;最新政策问题需要受权限限制的证据;范围含糊时继续扩大搜索通常不如澄清。
一次检索应围绕缺口生成查询,而不是让模型无条件输出“继续”。本例把缺口简化为两个人工标签rule和exception。首次返回rule后缺exception;再次得到exception后才满足完成条件。真实业务的证据充分性需要覆盖检查与逐声明支持度,不能凭命中条数判断。
Self-RAG、Corrective RAG与通用循环的边界
Self-RAG论文通过训练得到反思token,用于决定是否检索并评估段落相关性、支持度和生成有用性。这不等同于在普通提示末尾加一句“检查自己”。实现一个带自检的循环可以借鉴其思想,但不能宣称复现训练方法或论文效果。
CRAG围绕检索评估器的置信判断采取不同动作,并讨论网页扩展和知识分解重组。要引入网页路径,还需要处理新来源的可信度、时效性、权限、间接提示注入与额外延迟。检索评估器也会误判,必须用人工标签校准分支阈值,并统计错误分支把正确证据丢掉的比例。
Adaptive通常强调按问题难度或状态选择路径;Agentic强调由控制器组合工具和多步动作。名称并不能说明实际是否更好。固定两阶段检索在明确任务上可能更易测、更便宜,比较时应固定数据集和预算。
完整实验:四种停止结果
把下面文件保存为adaptive_loop.py,使用Python 3.13运行 python -X utf8 adaptive_loop.py。检索结果是明确写出的标签,程序实测的是控制流,不调用模型,不评估真实召回。
"""确定性控制器验证停止与失败传播;不声称复现Self-RAG训练。"""
def run(queries,search,budget=3):
seen=set();evidence=set();trace=[]
for query in queries:
if len(trace)>=budget:return '预算停止',trace
normalized=' '.join(query.lower().split())
if normalized in seen:return '重复查询停止',trace
seen.add(normalized)
try:hits=set(search(normalized))
except TimeoutError:return '检索超时',trace
fresh=hits-evidence;evidence|=hits
trace.append((normalized,sorted(fresh)))
if not fresh:return '无新增证据停止',trace
if {'rule','exception'}<=evidence:return '证据齐全',trace
return '计划耗尽',trace
if __name__=='__main__':
search=lambda q:{'退款':['rule'],'定制':['exception']}.get(q,[])
print(run(['退款','定制'],search))
print(run(['退款',' 退款 '],search))
print(run(['退款','未知'],search))
print(run(['退款','定制'],search,budget=1))实际输出:
('证据齐全', [('退款', ['rule']), ('定制', ['exception'])])
('重复查询停止', [('退款', ['rule'])])
('无新增证据停止', [('退款', ['rule']), ('未知', [])])
('预算停止', [('退款', ['rule'])])正常路线调用两次,新增集合依次为rule、exception。预算为1时,第一次成功检索并不意味着可以启动第二次;控制器在下一动作前拒绝继续。重复检测规范化空白和大小写,所以第二个“退款”不会再次发出。新查询返回空集合时停止,避免以无限改写隐藏失败。
停止策略如何从教学升级
本例“无新增立即停止”比较保守:一次空结果不证明整个知识库没有答案。生产实现可以允许有上限的替代检索器或一次澄清,但必须事先定义最大尝试。除了调用数,还应限制总deadline、累计token、工具费用、查询分支宽度和深度;并行调用同样消耗总预算。
查询字符串去重不能发现语义重复,证据ID去重也不能发现内容重复。可增加规范化内容哈希、查询相似度和“新增证据是否解决缺口”的判定,但这些判定可能出错,不能替代硬预算。
超时必须保留为检索失败,不能被转换成“知识库没有相关内容”;无权限、网络故障、索引不可用与空命中是不同状态。若返回部分答案,应明确哪些声明已有依据、哪些未确认,禁止用模型记忆补成确定结论。线上记录每轮缺口、查询、候选、判断理由和终止码,才能判断多出来的一轮究竟带来增益还是只增加成本。
来源与继续学习
Self-RAG论文说明训练反思token的具体方法;CRAG论文讨论检索质量评估后的修正路径。本文没有运行论文模型。下一篇把检索和生成的指标放在同一实验里,检验“多检索一次”有没有改善答案。
综合边界推演与面试追问
查询普通与定制能否退款,首轮得到rule,第二轮只在缺exception时查询定制。若第二轮仍返回rule则无新增;若重复“ 退款 ”则规范化后命中已尝试查询;预算1时不能启动第二轮。
固定两阶段流程易测,动态Agent可根据新证据选择路径却更贵且难复现。Self-RAG训练反思token,CRAG用检索评估驱动修正;普通提示循环只借鉴思路,不能声称复现训练效果。
将无答案、检索超时、权限拒绝分开,不能全部转空列表。软充分性判断需校准,硬调用/token/时间预算动作前检查;语义去重与证据去重辅助无进展停止。结束时保留未解决缺口,不用模型记忆补确定答案。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
再次检索应由什么驱动?
参考思路与常见误区
由尚未解决的事实缺口和可执行计划驱动,记录已有证据、缺失条件、查询与预算。检索次数增加本身不代表证据更充分。
常见误区:每题固定循环十次就是Agentic。
普通提示自检是否等于Self-RAG?
参考思路与常见误区
不是。Self-RAG论文训练反思token来决定检索并评价相关、支持和有用性;普通自检循环只能说借鉴思想,不能声称复现其训练或指标。
常见误区:提示里加入反思二字就是论文实现。
CRAG的修正分支为何也需要校准?
参考思路与常见误区
检索评估器可能错判质量,造成正确证据被丢弃或错误证据被接受。需人工标签校准阈值,评估外部搜索来源与成本,并记录分支错误。
常见误区:评估器给出高置信就是真实概率。
除最大轮数外还需要哪些停止限制?
参考思路与常见误区
限制总deadline、累计token和费用、分支宽度、重复查询、无新增证据及最大重试。软判定可能出错,硬预算必须在动作开始前检查。
常见误区:并行执行不消耗调用预算。
检索超时可以作为无相关资料回答吗?
参考思路与常见误区
不能。超时是执行失败,空命中是检索结果,两者需要不同终止码与用户解释。可按已验证证据有限回答或明确暂无法查证。
常见误区:把异常吞掉返回空列表即可。