PPO与RLHF:rollout、优势、clip和KL各管什么
区分策略、参考、奖励与价值模型,手算PPO裁剪、GAE与KL,并解释训练稳定性的观察信号。
RLHF里常同时出现四个模型角色,容易混淆。策略模型生成回答并被优化;参考模型提供行为偏离的基准,通常冻结;奖励模型评价生成;价值模型估计状态的未来回报,用来减少优势估计方差。实现可共享部分参数,但概念责任不同。
一次rollout到更新
经典RLHF可按三阶段说明输入输出。第一阶段SFT:输入prompt和人工/审核示范,优化示范回答的条件似然,输出能基本遵循指令的初始策略。第二阶段RM:输入同一prompt下的成对回答及优劣标签,优化比较损失,输出奖励评分器。第三阶段策略优化:输入prompt、当前策略采样、RM评分及参考约束,计算回报/优势并更新策略,输出调整后的策略模型。参考策略通常由初始SFT权重冻结而来,价值模型提供基线;阶段划分是经典流程,不意味着所有偏好训练都必须显式训练RM。
SFT能教示范行为,但示范有限且不直接比较多个合理回答之间的帮助性、安全和偏好取舍,也不保证模型在自己的采样分布上避开不良行为。RLHF引入偏好或奖励信号来调整这些取舍,但其对齐目标取决于标签与奖励设计,不能保证客观事实、所有群体价值或零幻觉。若失败来自外部知识缺失或权限漏洞,应先修检索与执行边界,而不是把所有问题归给SFT不够。
用当前旧策略π_old对一批prompt采样,记录生成token、旧logprob、奖励和价值估计。奖励可包含最终RM分数、工具反馈和相对参考策略的KL惩罚。随后使用这批固定rollout做若干更新,再重新采样;不能无限重用很旧数据而仍假装接近on-policy。
每个token的动作是选出下一个token,状态是已有前缀;Agent场景也可用工具行动层面的轨迹。终止与截断要区分:真正终局的bootstrap值常为0,达到长度上限但任务未结束时,处理规则要明确,不能机械使用同一假设。
为什么常采用PPO,而不是直接用REINFORCE或Q-learning
REINFORCE可直接用回报乘log策略概率构造梯度,例如最大化G×logπ(a|s),实现简单,但长回答的终局奖励稀疏,估计方差往往较大;加入基线可以改善,仍需控制每次更新偏离。PPO把优势估计、旧策略数据与裁剪替代目标结合,可在同批rollout上做有限多轮优化,工程上较容易平衡样本利用和更新稳定性。这是常见选择理由,不意味着PPO在所有LLM任务都最优,也不意味着REINFORCE不能加基线或其他改进。
Q-learning路线估计动作价值,并常通过max_a Q(s,a)或相应策略改进选动作。语言的动作空间是大词表,状态是不断增长的前缀,长期信用分配、函数逼近与离线分布外动作估计都很困难;多步工具轨迹还带部分可观察性与环境变化。相比之下,现成自回归模型已经提供可微策略概率,直接做策略优化更自然。Q系方法并非不能用于语言或Agent,只是不能把小离散游戏的实现无改造套到大模型对齐。
这里的选择还受训练规模、奖励可靠性和系统支持影响。面试题原文把PPO称为“最主流”是其资料时点的表述,不应作为当前所有后训练场景的普遍排名;DPO、GRPO等路线各有条件,需按目标和证据选择。
优势与GAE的数值定义
回报表示未来奖励的折扣和,优势A比较实际回报与价值基线。GAE使用TD残差:
delta_t = reward_t + gamma V(s_(t+1)) - V(s_t)
A_t = delta_t + gamma lambda A_(t+1)gamma控制远期奖励折扣,lambda调节优势估计的偏差与方差。价值模型预测不准时,优势噪声会加大;奖励尺度也会影响训练。对padding和非行动token正确mask,避免将无效位置作为策略动作优化。
PPO clip不是把参数变化硬截断
定义ratio为新策略对旧采样动作的概率除以旧策略概率。最大化的裁剪替代目标是:
min(ratio × A, clip(ratio, 1-epsilon, 1+epsilon) × A)A为正,希望提高动作概率;ratio已经很大时,裁剪使继续增大不再带来这项收益。A为负,希望降低动作概率;ratio过低时也截住额外收益。min的方向很重要,不能对正负优势一律取clip后乘A就结束。
例如epsilon=0.2、A=2、ratio=1.5,目标min(3,2.4)=2.4;A=-2、ratio=1.5时min(-3,-2.4)=-3,仍保留坏方向惩罚。clip是目标函数设计,不保证所有token概率比或实际KL绝不越界。
KL约束与稳定性
参考模型通常来自初始SFT模型,KL惩罚限制策略远离它;旧策略则随rollout批次更新。KL系数过强可能几乎不改变行为,过弱可能导致语言退化或奖励投机。采样logprob差是一种估计量,单样本可为负,不能把它等同完整分布的非负KL。
训练观察奖励、KL、clip比例、熵、长度、价值损失、优势分布和业务成功,而不是只看奖励上涨。长度暴涨、熵骤降或RM分高但答案差,都可能提示问题。调整奖励尺度、学习率、更新轮次和KL时保持对照,避免同时改全部参数。
跟做:四种裁剪分支与GAE
保存 ppo_clip.py,Python 3.11+运行 python ppo_clip.py。程序对固定数组计算目标、精确二分类KL和GAE,不生成语言、不训练PPO模型。
"""PPO裁剪、精确离散KL和GAE的小数组算例,非LLM rollout。"""
import math
def surrogate(ratio, advantage, epsilon=.2):
clipped = min(max(ratio, 1-epsilon), 1+epsilon)
return min(ratio*advantage, clipped*advantage)
def kl(p, q): return sum(a*math.log(a/b) for a, b in zip(p, q))
def gae(rewards, values, gamma=1., lam=.95):
if len(values) != len(rewards)+1: raise ValueError('terminal value required')
out, running = [], 0.
for t in reversed(range(len(rewards))):
delta = rewards[t]+gamma*values[t+1]-values[t]
running = delta+gamma*lam*running
out.append(running)
return list(reversed(out))
if __name__ == '__main__':
for ratio, advantage in [(1.5, 2.), (.5, 2.), (1.5, -2.), (.5, -2.)]:
print('ratio/advantage:', ratio, advantage, 'objective:', surrogate(ratio, advantage))
print('KL:', round(kl([.8, .2], [.5, .5]), 6))
print('GAE:', [round(x, 6) for x in gae([0., 1.], [.2, .4, 0.])])实际输出:
ratio/advantage: 1.5 2.0 objective: 2.4
ratio/advantage: 0.5 2.0 objective: 1.0
ratio/advantage: 1.5 -2.0 objective: -3.0
ratio/advantage: 0.5 -2.0 objective: -1.6
KL: 0.192745
GAE: [0.77, 0.6]GAE中最后一步残差为1−0.4=0.6,前一步残差为0+0.4−0.2=0.2,因此A_0=0.2+0.95×0.6=0.77。KL对完整分布[0.8,0.2]与[0.5,0.5]计算,约0.192745,不是单token采样差。
把lambda改成0,优势只使用单步TD残差;改epsilon观察正负优势不同分支。这个实验不包含价值回归、熵项、分布式rollout或实际优化器,仅验证核心数值关系。
理论依据见 PPO论文 与 RLHF训练案例。不同库的PPO接口会变化,本节不提供未经实测的GPU启动命令。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
策略、参考、奖励、价值模型各做什么?
参考思路与常见误区
策略生成并更新;参考提供偏离基准;奖励评输出;价值估未来回报以辅助优势。实现可共享但职责不同。
常见误区:参考模型就是上一批旧策略。
A=2、ratio=1.5、epsilon=0.2的clip目标?
参考思路与常见误区
min(1.5×2,1.2×2)=2.4;若A=-2则min(-3,-2.4)=-3,负优势方向不能写反。
常见误区:只算clip(ratio)×A。
KL太强和太弱分别可能怎样?
参考思路与常见误区
过强限制行为改进,过弱可能偏离参考并退化或投机;需看奖励、业务质量、熵、长度和KL共同变化。
常见误区:奖励越高越应减小KL约束。
clip是否给实际KL硬上限?
参考思路与常见误区
不是,它裁剪替代目标的部分激励,不保证所有比率或完整分布KL始终受限。
常见误区:clip范围就是概率变化保证。
GAE中lambda有什么作用?
参考思路与常见误区
控制多步TD残差组合的偏差方差权衡;lambda=0只保留单步残差,终局与截断bootstrap要正确。
常见误区:lambda是简单学习率。