Agentic RL与信用分配:工具轨迹、稀疏奖励和奖励投机
把Agent放进环境状态与动作轨迹中,手算回报与潜势整形,区分最终失败、过程归因和可信工具反馈。
Agent最终没完成任务,可能是第一步查错对象,也可能是最后一步权限过期。把所有步骤都标成坏动作,会丢掉正确前缀;只奖励最后一句“成功”,又会鼓励模型伪造完成。信用分配要把动作、环境反馈与最终结果联系起来。
环境、状态和轨迹
环境包含可观察数据、工具与状态转移;策略根据已有观察选择文本或工具动作,环境返回新观察和奖励。Agent通常只能看到部分真实状态,因此历史和记忆影响决策。训练轨迹至少保留prompt、观察、动作、工具参数、结果、时间、版本和终止原因。
工具调用错误要区分语义错误、参数不合法、权限拒绝、暂时故障和环境不可达。相同动作在不同环境状态下可能有不同结果,回放训练数据时应固定环境快照或明确随机性。工具返回的“OK”也可能只表示请求被接收,不代表业务最终提交成功。
终局奖励与过程奖励
回报G_t为从当前时刻开始的折扣奖励和:
G_t = r_t + gamma r_(t+1) + gamma² r_(t+2) + ...若三步只有终局奖励1,gamma=0.9,各步回报为[0.81,0.9,1]。它让早期动作也获得学习信号,但并没有证明每个早期动作都正确;因果贡献仍混在同一次轨迹里。多次采样、基线、分支重放与局部诊断有助于降低噪声,但不能凭一次失败直接确定唯一责任动作。
过程奖励可评价中间证据、有效调用或子目标,但错误设计会让Agent追求代理指标。例如奖励每次搜索,会鼓励无限搜索;奖励输出“成功”,会鼓励谎报。步骤奖励必须与最终目标一致,并给资源消耗、重复动作和非法操作明确处理。
在满足相应MDP和边界条件时,潜势整形使用r'=r+gammaΦ(s')−Φ(s),可以保持最优策略集合;任意手加步骤分不具有这个保证。有限回合中终点潜势和截断处理很关键。本文只演示数值抵消,不把它当所有Agent环境都满足理论条件的证明。
token级与序列级奖励并非同一粒度
序列级奖励在整个回答或任务结束后给一个分数,标注与验证相对容易,但无法直接告诉策略哪一个token或工具动作导致失败。把同一个序列优势复制到所有回答token,仍是粗粒度信用分配,不能因此声称得到了逐token事实标签。
token级或步骤级反馈能定位错误表达、工具参数和中间决策,信号更密,但标注困难、容易把语言表面特征当正确性;逐token奖励还可能鼓励冗长,因为增加token带来更多奖励机会。工具动作往往由多个token共同组成,半个JSON参数不能当可执行动作评价,应按完整调用和环境反馈建立边界。
例如三步“查订单→查规则→提交退款”,前两步正确、第三步金额错误。单一终局失败奖励不区分三步;过程验证可保留前两步证据并惩罚错误参数,但仍需最终金额与授权回执校验,避免策略只完成容易得分的前缀后停止。奖励粒度、优势如何传播、loss如何按token或序列平均是三个不同问题,需要分别记录。
从轨迹定位信用分配问题
先标出第一次与正确轨迹分叉的位置:输入信息是否足够,工具选择是否合适,参数是否正确,观察是否被理解。最终失败可能由多个因素叠加,应保留“可确定”“相关但未证实”“环境问题”的区别。能重放的环境可固定前缀再替换一个动作,比较后果;不可重放的线上操作不能为归因随意重复副作用。
稀疏奖励任务可以分阶段学习、提供有效示范或适当课程难度,让策略先学会合法行动,再优化终局成功。奖励过密也可能压制探索,所以同时观察成功率、轨迹长度、工具错误与奖励构成。
跟做:能骗过文本奖励,却骗不过回执
保存 agent_credit.py,Python 3.11+执行 python agent_credit.py。轨迹和回执是固定数据,仅验证回报与评分逻辑,不执行工具,也没有Agent RL训练。
"""工具轨迹回报和奖励投机反例;固定环境夹具,无Agent训练。"""
def returns(rewards, gamma=.9):
value, out = 0., []
for r in reversed(rewards):
value=r+gamma*value; out.append(value)
return list(reversed(out))
def score(trace):
# 错误奖励只看回复;可信奖励看业务回执且有授权。
naive = float('成功' in trace['answer'])
verified = float(trace['receipt_ok'] and trace['authorized'])
return naive, verified
if __name__ == '__main__':
print('terminal-only:', returns([0, 0, 1]))
print('tool failure:', returns([0, -1, 0]))
traces = [{'answer': '操作成功', 'receipt_ok': False, 'authorized': False},
{'answer': '已完成', 'receipt_ok': True, 'authorized': True}]
for trace in traces: print('naive/verified:', score(trace))
# 潜势整形 r'=r+gamma*Phi(next)-Phi(now),终点潜势为0。
phi, reward, gamma = [0., .2, .5, 0.], [0., 0., 1.], .9
shaped = [r+gamma*phi[i+1]-phi[i] for i, r in enumerate(reward)]
print('shaped:', [round(x, 6) for x in shaped], 'start return:', round(returns(shaped)[0], 6))实际输出:
terminal-only: [0.81, 0.9, 1.0]
tool failure: [-0.9, -1.0, 0.0]
naive/verified: (1.0, 0.0)
naive/verified: (0.0, 1.0)
shaped: [0.18, 0.25, 0.5] start return: 0.81第一条轨迹说操作成功,却无授权和有效回执,naive给1,verified给0;第二条回答没写“成功”二字,可信回执却证明完成。整形奖励[0.18,0.25,0.5]的起点折扣回报仍为0.81,因为起始与终点潜势为0,内部项抵消。
将终点潜势改成非零,有限回合抵消边界会改变;这说明实现必须遵守定义,不能只记公式。示例verified同样依赖输入回执可信,真实系统应从受控业务系统读取,不能接受模型自报receipt_ok。
方法依据见 PPO 与 潜势奖励整形论文。训练环境、模型rollout和奖励有效性都未在本节进行真实实测。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
最终失败如何定位责任步骤?
参考思路与常见误区
结合观察、参数、工具回执找首次分叉,必要时固定环境重放或替换动作;区分语义错误、环境故障和未证实关联。
常见误区:把整条轨迹每一步都标错。
终局奖励[0,0,1]、gamma0.9的回报?
参考思路与常见误区
从后三步向前为[0.81,0.9,1];提供早期信号但不证明每步都因果正确。
常见误区:每步都得到1就是正确信用分配。
奖励输出成功二字有什么漏洞?
参考思路与常见误区
策略可口头谎报,需可信授权和业务回执判断完成,模型自报receipt_ok也不可信。
常见误区:让另一个模型读回答就足以验证副作用。
任意过程奖励都保持最优策略吗?
参考思路与常见误区
不保持;潜势形式在相应MDP与边界条件下有不变性结果,随意奖励搜索次数可能改变目标。
常见误区:奖励越密学习就一定越正确。
稀疏奖励可怎样改善?
参考思路与常见误区
高质量示范、课程难度、可信子目标与多轨迹采样可增加有效信号,同时监控是否引入奖励捷径。
常见误区:无限增加rollout即可解决所有问题。