反思与校验:让反馈真正约束修订
区分重复询问、外部检查和经验记忆,设计有上限、可比较的修订闭环。
让模型“再检查一次”可能得到更好的答案,也可能把正确答案改错。如果它继续使用同样的错误事实和评价标准,重复生成只是在相关误差上反复采样。有效反思首先需要说明反馈来自哪里、评价什么,以及什么证据足以接受修订。
反馈分三类,可信度不能混用
确定性检查器可验证格式、算术、引用是否存在或测试是否通过。它的优势是可重复,边界是只覆盖已编码条件。外部环境反馈例如执行失败、数据库约束或用户明确纠正,能提供新信息,但仍需区分瞬时故障与方案错误。模型评判器可评价语气、完整性等开放问题,却可能受提示、顺序和同源偏差影响,不应被当作事实裁判。
例如汇总2和3,初稿写8且没有来源。算术检查和引用存在检查分别返回 total_mismatch、missing_citation。修订器应该依据这些结构化问题修改,而不是收到一句笼统的“答案不够好”。若引用存在但不支持结论,还需内容支持检查;单靠字符串非空不能证明证据有效。
Reflexion 与参数更新的边界
Reflexion 原论文研究把反馈转成语言形式的反思并放进情景记忆,用于后续尝试。这不是每轮都更新模型权重。应用中把“刚才失败因为没有验证版本”写进上下文,和用训练数据更新参数,是不同的改进层次。前者容易撤销和审计,但受上下文容量及检索影响;后者改变模型行为,需要训练与离线评估流程。
反思记录也可能错。一次网络故障后写下“这个工具永远不能用”,就是把偶发事件固化为规则。记录应包含适用条件、失败证据、置信程度和有效期,经过重复案例验证才提升为长期技能。不要把“模型说已经学会”当作能力改变证据。
收敛需要接受规则与预算
每轮保留候选版本、失败项和代价。新版本必须改善目标指标,且不破坏硬约束;相同错误重复出现或没有可验证改进时停止。可以限制最多2轮修订、为最终输出预留预算,并把未解决问题明确交给用户或人工。没有无限循环能保证开放任务最终收敛。
成本收益要在代表性样本上比较:一次生成、固定多轮自检、带外部反馈的修订分别花费多少、解决哪些错误、引入哪些回归。只展示挑选出的成功案例无法证明反思总体有效。涉及主观评分时,应使用清晰量表、独立样本与必要的人工核对。
运行:两个固定候选接受检查
保存为 reflection.py,执行 python reflection.py。候选由人预设,程序真实验证算术和引用字段,不调用模型,也没有证明自动修订能力。
"""固定修订候选接受独立约束检查;没有模型或智能优化。"""
def check(candidate, source):
errors = []
if candidate['total'] != sum(source):
errors.append('total_mismatch')
if not candidate.get('citation'):
errors.append('missing_citation')
return errors
def run():
candidates = [{'total': 8}, {'total': 5, 'citation': 'rows-1-2'}]
for version, candidate in enumerate(candidates, 1):
errors = check(candidate, [2, 3])
print('version', version, 'errors', errors)
if not errors:
print('accepted', candidate)
return candidate
return None
if __name__ == '__main__':
run()实际运行输出:
version 1 errors ['total_mismatch', 'missing_citation']
version 2 errors []
accepted {'total': 5, 'citation': 'rows-1-2'}第一版有两个独立错误,第二版通过当前两项约束。注意 citation 只是非空检测,未检验 rows-1-2 内容;所以 accepted 的含义仅是“通过这两个检查”。生产代码必须让验收标签与真实检查范围一致,避免把局部检查通过展示成整体事实正确。
逐项情境追问与故障定位
以下为机制分析与手算情境。可先遮住回答独立判断,再核对输入、失败位置和选择条件;它们不代表真实模型、远端服务或设备实验记录。
外部反馈:算术检查通过就能认定整段报告真实?
确定性检查只覆盖已编码条件,2+3=5不证明引用支持事实;外部反馈和模型评分各有范围。可重复检查便宜可靠但狭窄,开放评价更广却有偏差。分别记录算术、引用存在和内容支持结论,定位accepted标签是否超出检查范围。
评判与修订:让模型“再好一点”后把正确答案改错,缺什么?
反馈要具体指出失败项,候选版本需按同一量表比较并保留硬约束。结构化修订比笼统评价更可追踪,但不能解决检查器未覆盖错误。用总和8改成5同时保留引用的例子,分别验算和验引用,拒绝只改措辞却丢证据的版本。
同模型偏差:同一模型连续三次确认错误事实,算多数支持吗?
同源模型共享知识与提示偏差,重复输出不是独立证据。多次采样可发现不一致却不保证真实性,关键事实应引入外部来源/确定检查。对照输入证据与评价标准,若每次都依赖同一错误前提,增加次数只增加成本。
收敛:反思轮数无限增加,能保证收敛吗?
开放任务没有此保证,需定义接受改进、硬约束保持、重复失败停止和最大轮次。小预算可能错过改进,大预算可能反复回归。保存每轮失败集合与版本,连续两轮同错误且无新证据时停止并交接,不以文字“更完善”判进展。
成本收益:展示一个反思成功案例,能决定全量启用吗?
应在代表性留出集比较单次生成、自检和外部反馈修订的成功率、回归率、调用费和延迟。反思收益依任务而变。按错误类型分层统计,若只修易题却破坏原本正确答案,收益不足;不能只挑修好的样例报告。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
为什么让模型再检查一次不一定更正确?
参考思路与常见误区
它可能继续使用同一错误事实和评价标准,同源偏差使重复判断相关。需要独立约束、外部反馈及回归检查,并比较修订收益和新引入错误。
常见误区:自检次数越多越正确。
Reflexion 是否每次都会更新模型参数?
参考思路与常见误区
不等同于参数训练,其研究重点是把反馈转成语言反思并用于后续尝试的记忆。修改上下文与更新权重有不同成本、持久性及验证要求。
常见误区:模型说吸取经验就代表权重改变。
检查器通过为何还要注明覆盖范围?
参考思路与常见误区
格式或算术检查只能验证编码的约束,引用非空不能证明证据支持。验收标签必须准确描述检查能力,缺失的语义验证仍是未覆盖风险。
常见误区:把局部测试通过写成答案完全正确。
反思循环如何停止?
参考思路与常见误区
设置修订次数和预算上限,检测相同错误与无进展,要求新版本改进目标且不破坏硬约束。不能解决时保留最好已验证结果及未解问题并交接。
常见误区:一直重试直到模型自报满意。
一次工具超时后应该记住永远不用它吗?
参考思路与常见误区
不应把偶发故障直接升为程序规则。记录失败类型、时间、环境和证据,区分瞬时与永久原因,经多案例验证后才形成带适用条件的长期经验。
常见误区:把单次失败泛化为全局禁止。
延伸阅读:Evaluator-optimizer 工作流。