ReAct 与证据轨迹:观察怎样改变下一步
用查询失败再修订的轨迹理解行动反馈,并用可观察证据调试而不依赖内部思维链。
一次检索没有找到退款期限,Agent 可以直接猜,也可以观察失败类型后调整查询。ReAct 强调推理与行动的交替:行动获得外部反馈,反馈影响后续判断。原论文研究的是这种交互方式;在应用中落地时,核心是让决策受证据约束,不是要求模型输出长篇自述。
把“思考了什么”换成可核验记录
应用可以记录任务目标、工具名称、经过校验的参数、工具状态、证据 ID、短决策理由、修改后的计划和验收结果。例如“首次词项匹配为空,因此用政策正式术语重查”是足够调试的公开理由。它表达动作依据,不要求也不证明模型内部真实计算过程。
私密思维链不应成为业务接口依赖。模型生成的解释可能遗漏、事后合理化或与实际依据不同。若一个退款答案引用 policy-v2,能检查的是这个版本是否包含所述期限、是否适用于当前商品、是否过期,而不是文字推理看起来是否严密。可观测轨迹和证据支持关系比长篇理由更适合作为验收材料。
错误恢复由观察类型驱动
检索为空表示在当前索引、过滤条件与查询下没找到;它不证明政策不存在。可以修改术语、检查过滤器或询问缺失信息。工具不可用表示没有获得可靠检索结果,应重试或切换渠道。找到相互矛盾的文档则需要比较版本、适用范围及发布日期,不能把两段内容平均成一个答案。
把错误原样拼进上下文也有风险。外部网页可能包含“忽略此前指令”等文本,必须作为不可信数据处理。反馈可以影响事实判断,不能自行提升权限。证据条目应保留来源 URI、版本、片段及时间,引用展示只暴露用户有权查看的信息。用于回注的短摘要需能追到原文,摘要自身不是新增事实来源。
轨迹检查的三个层次
动作层检查调用是否合法、次数是否合理;证据层检查返回内容是否支持结论;任务层检查结论是否回答了原始问题。一个轨迹可以每次调用都成功,却始终查询错误商品。也可能最终答案碰巧正确,但引用完全无关。前者是目标偏移,后者是不可依赖的偶然正确,都应在评估中单独记录。
运行:一次查询失败后的证据恢复
保存为 evidence.py 后执行 python evidence.py。语料为人工固定字典,重写查询也是脚本预设,没有调用搜索引擎或模型。
"""固定检索语料与脚本改写,只验证可观察证据链。"""
DOCS = {'退款期限': {'id': 'policy-v2', 'days': 7}}
def run():
trace = []
evidence = None
for query in ['退钱', '退款期限']:
evidence = DOCS.get(query)
trace.append({'query': query, 'status': 'found' if evidence else 'empty'})
if evidence:
break
if not evidence:
return trace, {'status': 'insufficient_evidence'}
return trace, {'days': evidence['days'], 'citation': evidence['id']}
if __name__ == '__main__':
trace, answer = run()
for event in trace:
print(event)
print(answer)实际运行输出:
{'query': '退钱', 'status': 'empty'}
{'query': '退款期限', 'status': 'found'}
{'days': 7, 'citation': 'policy-v2'}“退钱”没有命中,程序保留 empty 事件,再用“退款期限”命中 policy-v2。最终对象同时给出 days 和 citation,便于后续验证。本例没有语义检索,也未验证某个真实商家的政策,7天只是固定教学数据。若两次都失败,返回 insufficient_evidence,不能用常识填入7天。
真实应用应对轨迹做脱敏和采样,避免把身份信息或完整内部文档写入公共日志。排查时先看失败阶段,再选择必要片段;不要靠记录所有内容来替代结构化事件设计。
逐项情境追问与故障定位
以下为机制分析与手算情境。可先遮住回答独立判断,再核对输入、失败位置和选择条件;它们不代表真实模型、远端服务或设备实验记录。
交替观察行动:第一次检索为空后继续原样搜,算ReAct吗?
行动反馈应改变下一步,例如核过滤器或将口语改成政策术语;单纯交替输出不保证利用观察。逐步决策适应未知环境但多轮耗费预算。对照两轮查询参数和反馈依据,若完全重复且无新信息,应停止或调整而非按轮数认定有效推理。
证据:答案引用policy-v2但该段说的是另一个商品,如何查?
引用存在只是第一步,还要核内容支持、版本有效和适用范围。保留URI、片段、时间与主体,短摘要便于上下文但需可追原文。对答案逐断言回指来源,商品不匹配应降为证据不足,不能因有链接就标可信。
错误恢复:检索empty与工具unavailable该怎样分流?
empty只说明当前查询/过滤未命中,可改术语或补条件;unavailable表示未获得可靠观察,适合预算内重试或切换渠道。恢复灵活性有助成功但可能放大错误搜索。检查工具状态与数据字段,不把传输错误包装为空列表再推断政策不存在。
轨迹:十次调用都200,轨迹为何仍不合格?
动作层合法不代表证据支持或任务达成;全程查询错商品会目标偏移。分层评估便于定位但需要保存必要关联。逐层核调用参数、证据支持和原始问题,分别标工具成功率与任务成功率,避免把前者当后者。
可观察理由与私密思维链:没有模型私密思维链,怎么调试错答案?
记录可观察的工具、参数、结果、短理由、计划变化与验收即可追因;生成解释也不保证忠实内部过程。长日志增加成本和泄露风险,短结构化记录更可核查。先找第一次使用无支持事实的位置,不要求获取内部推理才能验证外部行为。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
如何调试 Agent 而不依赖模型暴露内部思维链?
参考思路与常见误区
记录目标、结构化调用、观察状态、证据 ID、简短动作理由、计划变更和验收结果,并核对动作与证据是否支持目标。公开理由是可读说明,不保证还原内部计算。
常见误区:没有长篇思维链就认为不可调试。
一次检索为空能否证明事实不存在?
参考思路与常见误区
不能,只说明当前索引、过滤和查询条件下没有命中。可检查术语和过滤、扩大范围或请求信息;应与工具故障分开,避免把没拿到结果当作不存在。
常见误区:把检索系统覆盖范围当作现实世界全部知识。
有 citation 字段是否已经证明答案可信?
参考思路与常见误区
还需确认来源存在、用户可访问、版本有效且内容支持具体结论。非空引用只满足结构约束,无关引用和过期政策仍会产生错误答案。
常见误区:引用数量越多就越可信。
工具观察里的指令能改变系统权限吗?
参考思路与常见误区
不能,工具文本是外部数据,可影响事实判断但不能自行提升权限或覆盖系统约束。应保留来源并隔离不可信指令,动作仍走运行时授权。
常见误区:检索结果说应该执行就直接执行。
每步工具成功却没完成任务,如何定位?
参考思路与常见误区
分别检查动作合法性、证据支持关系和任务覆盖。可能一直查询错误对象或偏离目标,不能只用工具成功率代替任务验收。
常见误区:只统计工具异常,忽略语义偏航。
下一节讨论在行动前或行动中组织计划与搜索。