经验学习与自进化:候选改进怎样获得使用资格
区分上下文、技能、共享经验和参数更新,建立评估、版本谱系、晋升与回滚闭环。
Agent 完成一次任务后保存“以后这样做”,不意味着系统已经可靠进化。那次成功可能来自偶然、过窄样本或错误评判器。经验学习的核心是把改进视为有来源的候选,经过独立评估后才进入可执行配置,并能在回归时撤销。
四类改进改变的对象不同
上下文改进把反思和证据放入当前或未来提示,成本低且容易删除,但效果依赖召回。技能改进把可复用步骤、工具约束或脚本形成版本化资产,需要审核适用条件与可执行代码。共享经验将多次或多主体轨迹提炼成组织知识,必须去重、脱敏并处理任务差异。参数改进通过监督学习、偏好优化或 RL 改变模型权重,需要训练基础设施、数据治理和模型评估。
Reflexion属于用语言反馈支持后续尝试的研究方向,不应说成在线更新权重。Agent Lightning 官方仓库提供 Agent 训练相关实现,可作为参数闭环的进一步研究入口;本节没有运行该项目或验证其基准收益。修改提示、修改 Python 函数和训练权重都可能改变行为,不能用同一个“自进化率”掩盖不同机制。
从轨迹到候选,再到晋升
先收集失败类别、环境、工具版本、输入和验收证据,明确希望改善的问题。生成候选后在开发集调试,在未用于修改的留出集评估,并保留历史回归和权限边界样本。评估要同时看任务成功、错误类型、成本、延迟及危险动作,不能只最大化某个评分器分数。
评估器本身也需版本化。若候选可以修改测试或读取标准答案,它可能通过奖励投机获得高分。执行环境要隔离评估资产,记录数据泄漏风险,开放任务评分采用明确量表和抽样人工复核。样本少时不要声称统计显著;扩大样本应覆盖真实任务分布,而不是复制同一种题型。
谱系、回滚和供应链
每个候选保存 parent_version、变更内容、训练或提取数据范围、评估器版本、结果、审核人与启用时间。晋升可以先限流或在小范围影子运行,观察线上回归再扩大。回滚必须能同时恢复提示、技能代码、工具 schema 和相关配置,单独换回模型名可能不够。已写入外部系统的副作用不会随着版本回滚自动撤销。
外部技能与共享经验可能包含恶意指令、秘密收集代码或被污染的样本。下载地址、内容哈希、发布者和依赖是供应链的一部分;代码执行前需审查和隔离,模型读取技能不等于授权执行。一个任务里的成功操作也未必适用于另一个用户或权限范围,经验应携带适用条件,而不是变成全局命令。
运行:训练样例成功,留出样例失败
保存为 evolution.py,执行 python evolution.py。两个函数由人写定,只有三个教学样例,没有模型训练或性能基准。
"""固定候选函数和留出样本;不是训练结果或统计显著性证明。"""
def baseline(text):
return text.lower().strip()
def overfit(text):
return 'yes' if text == 'YES' else text
def score(fn, dataset):
return sum(fn(x) == y for x, y in dataset)
if __name__ == '__main__':
train = [('YES', 'yes')]
heldout = [(' NO ', 'no'), ('Maybe', 'maybe')]
versions = {'v1': baseline, 'v2': overfit}
for version, fn in versions.items():
print(version, 'train', score(fn, train), 'heldout', score(fn, heldout))
accepted = score(overfit, heldout) >= score(baseline, heldout)
active = 'v2' if accepted else 'v1'
print({'parent': 'v1', 'candidate': 'v2', 'promoted': accepted, 'active': active})实际运行输出:
v1 train 1 heldout 2
v2 train 1 heldout 0
{'parent': 'v1', 'candidate': 'v2', 'promoted': False, 'active': 'v1'}v2 在唯一训练样例上和 v1 一样成功,却在两个留出样例上全错,因此没有晋升。这个结果只证明给定样例上的回归,不能估计真实用户成功率。它说明必须保留旧版和独立评估入口;若只看那次 YES 成功,就会把更差的函数当作改进。
逐项情境追问与故障定位
以下为机制分析与手算情境。可先遮住回答独立判断,再核对输入、失败位置和选择条件;它们不代表真实模型、远端服务或设备实验记录。
上下文/技能/共享经验/参数闭环:写一段反思和训练一次权重,都叫自进化会漏掉什么?
上下文改进影响召回条件,技能改变可执行资产,共享经验跨主体传播,参数训练改变权重;评估与撤销手段不同。轻量提示易回退但受上下文约束,训练更重。追踪改动载体和版本,再针对真实改变做评测,不能用统一提升率掩盖机制。
评估器:候选能看到标准答案并修改测试,评分上涨可信吗?
评估资产需隔离,开发集与留出集分开,评估器版本固定并抽样人工核对。自动评分便宜但会被投机利用。先检查数据访问和测试diff,再用未见样本复测;训练题全对而留出全错应拒绝晋升。
版本谱系:线上效果变差却只记录“最新技能”,怎么追因?
保存parent_version、变更、数据范围、评估器、结果和启用时间,谱系才能定位行为改变。细记录有存储成本但支持回归归因。比对上次正常与首个异常版本的提示、schema和运行时配置,不能只查模型名是否相同。
回滚:换回旧模型后重复退款仍存在,为什么回滚无效?
版本回滚只恢复未来行为,已发生外部副作用不自动撤销;还需同步回退提示、技能和schema并对账补偿。小流量晋升降低影响但延长验证。列出变更资产与已执行动作,分别核恢复和业务补偿,不把部署回滚说成数据恢复。
供应链:下载的技能让Agent上传环境变量,如何阻断?
技能内容和代码是供应链输入,需核来源/哈希/依赖并在受限权限中审查执行;读取不等于授权。复用外部技能节约开发却扩大信任面。检查网络目标、秘密访问与命令范围,用受控样本验证拒绝,不能因之前任务成功就全局信任。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
如何防止自动改进把偶然成功固化成错误规则?
参考思路与常见误区
把经验先作为候选,记录来源与适用条件,使用独立留出和历史回归评估,再受控晋升并监控回滚。单次成功不足以证明泛化。
常见误区:看到一次高分就写入全局技能。
上下文改进和参数训练有什么不同?
参考思路与常见误区
前者改变输入或可召回经验,容易撤销但依赖上下文;后者更新权重,涉及训练数据、优化和模型评估。二者都需验证,不能把保存反思说成训练模型。
常见误区:所有行为变化都叫权重自进化。
候选能修改评估测试会带来什么问题?
参考思路与常见误区
可能降低检查标准、泄漏答案或奖励投机,分数上升不代表任务能力提高。应隔离评估资产、版本化评估器并保留独立人工核对。
常见误区:只要自动评分上涨就允许晋升。
经验版本谱系应包含什么?
参考思路与常见误区
父版本、变更内容、数据范围、评估器和工具版本、结果及启用信息。回滚要恢复相关提示、技能代码与配置,已发生外部副作用还要另行处理。
常见误区:只保存一个最新技能文件覆盖旧版。
下载共享技能后为什么不能直接执行?
参考思路与常见误区
技能可能包含恶意代码、提示注入或不适用的经验。需要来源与完整性核对、依赖审查、权限和隔离,读取内容不等于获得执行授权。
常见误区:经验社区有人成功使用就默认可信。