GRPO与变体:组内优势、Token聚合和序列比率
从同prompt多次采样推导相对优势,比较PPO、GRPO、DAPO与GSPO,避免把配置名称当作完整算法。
一道题采样多个回答,有的正确有的错误,可以用同组比较构造优势。GRPO以组内奖励基线代替显式价值模型的一种估计方式,降低了部分训练复杂度,但多候选rollout、奖励设计与长度处理仍然昂贵且重要。
组内相对优势
对同一prompt采样G个回答,获得奖励r_i。常见组标准化为:
A_i = (r_i - mean(r_group)) / (std(r_group) + epsilon)回答内各生成token可使用同一个序列优势,再结合新旧策略概率比与裁剪目标。奖励[0,0,1,1]的均值0.5、总体标准差0.5,优势近似[-1,-1,1,1]。如果整组奖励全相同,分子都为0,策略梯度的这部分信号消失;其他正则项可能仍有梯度。
全对或全错都缺乏组内排序信号,因此需关注题目难度与采样多样性;仅增加组大小不保证出现差异。奖励函数如果对所有输出都返回同一值,也会产生同样症状,排错先查奖励而不是立即调学习率。
与PPO的联系和差异
PPO常借助价值模型估计优势,GRPO以同prompt组内奖励形成相对基线;两者都可以采用裁剪的策略更新。没有价值模型不意味着没有参考策略,也不意味着没有KL项;具体实现可能选择是否启用KL及其系数,必须看配置。
组内标准差归一化可能改变不同问题的权重:奖励方差小的问题被相对放大,方差为零时无排序信号。选择组内、批次或不缩放等策略会改变目标,报告训练方案时写清楚,而不是只写“使用GRPO”。
token与序列聚合如何改变权重
先对每条序列的token目标取平均,再对序列取平均,相当于每个回答权重相同;直接对所有有效token取平均,则长回答贡献更多token。例子一条长度1、每token目标1,另一条长度3、每token目标3:序列平均是(1+3)/2=2,token平均是(1+9)/4=2.5。
DAPO论文讨论包括Clip-Higher、动态采样、token级策略梯度损失和过长奖励处理等设计。仅在训练库设置loss_type为dapo,通常只选择其损失聚合方式,不表示自动复现论文全部训练系统、数据筛选与超参数。当前TRL文档默认值也可能随版本变化,应显式记录loss_type和实际配置。
GSPO在序列层面定义重要性比率与相应裁剪,长度归一化序列比率可写为exp(每token新旧logprob差的平均)。它不是简单把GRPO里的均值函数换个名字;比率作用单位变化会影响优化稳定性。不能把GSPO、DAPO和所有GRPO变体合并成一个无差别算法。
进一步拆开DAPO的几个组件:Clip-Higher允许正向概率提升一侧采用更宽的裁剪上界,意图缓解低概率有效动作被过早限制;它改变探索激励,并非取消负向约束或保证熵提高。动态采样会过滤组内全对/全错等缺少相对梯度的prompt组并继续采样,直到有效批次满足条件;代价是更多rollout,还可能偏向中等难度题,因此必须限制补采样次数并记录被过滤分布。token级聚合使每个有效token在总损失中的权重一致,但因此长序列在批次中贡献更多位置。过长奖励处理区分接近长度上限与真正截断,可设置缓冲区或长度惩罚,避免把只因预算截断的回答当作语义全错;具体分段函数与阈值必须按选定实现固定。
例如四个prompt组中三组奖励全相同,过滤后有效组仅1个;若仍按“4个prompt”报告有效batch,会掩盖梯度信号减少。应同时报告总采样数、有效组数、奖励方差、截断率与长度分布。GSPO也需观察序列长度归一化后的log比率和裁剪比例:把两个token比率1.1与0.9相乘得到0.99,长度归一化后sqrt(0.99)约0.994987;逐token分别clip与对该序列比率clip不是同一目标。若训练不稳,先核对比率单位、padding mask和归一化,再比较算法名。
跟做:零方差组与两种聚合
保存 group_advantage.py,Python 3.11+运行 python group_advantage.py。程序计算组统计和聚合,不生成rollout,不训练策略,也不实现完整GRPO/DAPO/GSPO。
"""GRPO组内标准化和两种聚合;只演示数值,不代表完整算法实现。"""
import math
def advantages(rewards):
if len(rewards) < 2: raise ValueError('group needs at least 2')
mean = sum(rewards)/len(rewards)
std = math.sqrt(sum((r-mean)**2 for r in rewards)/len(rewards))
return [(r-mean)/(std+1e-8) for r in rewards]
def aggregate(token_objectives):
sequence_mean = sum(sum(s)/len(s) for s in token_objectives)/len(token_objectives)
token_mean = sum(map(sum, token_objectives))/sum(map(len, token_objectives))
return sequence_mean, token_mean
if __name__ == '__main__':
print('group [0,0,1,1]:', [round(x, 6) for x in advantages([0, 0, 1, 1])])
print('all equal:', advantages([1, 1, 1, 1]))
print('sequence/token means:', aggregate([[1.], [3., 3., 3.]]))
log_ratios = [math.log(1.1), math.log(.9)]
print('length-normalized sequence ratio:', round(math.exp(sum(log_ratios)/2), 6))实际输出:
group [0,0,1,1]: [-1.0, -1.0, 1.0, 1.0]
all equal: [0.0, 0.0, 0.0, 0.0]
sequence/token means: (2.0, 2.5)
length-normalized sequence ratio: 0.994987全1组优势为0;非零方差组近似正负1。两个token概率比分别1.1与0.9,长度归一化序列比率为sqrt(0.99)≈0.994987,不等于它们的算术平均1。把长度改掉会影响聚合与比率口径,应在实验记录中保留有效token mask。
训练时同时观察组内奖励方差、全同组比例、输出长度、截断率、KL、clip比例、有效token数和独立任务成功。奖励上涨而长度无限增加,可能是奖励漏洞或长度处理问题;大量零信号组则先核对奖励与任务难度。
原始方法见 DeepSeekMath、DAPO、GSPO;当前实现选项见 TRL GRPOTrainer。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
组内奖励全相同会发生什么?
参考思路与常见误区
中心化优势分子为0,组内排序带来的策略信号消失,其他正则项可能仍更新;应检查奖励和题目难度。
常见误区:仍能从相同奖励学出谁更好。
GRPO与常见PPO优势估计差在哪?
参考思路与常见误区
GRPO用同prompt采样组奖励作相对基线,常见PPO用价值模型辅助优势;不代表GRPO必然没有参考或KL。
常见误区:没有价值模型就没有任何基线。
序列平均与token平均为何不同?
参考思路与常见误区
前者每回答等权,后者每token等权;长短序列会改变贡献,例子长度1值1与长度3值3得到2和2.5。
常见误区:两种平均只是写法不同。
设置loss_type=dapo是否复现DAPO论文?
参考思路与常见误区
通常只选择损失聚合形式,论文还含采样、裁剪和长度处理等系统设计;要记录完整配置。
常见误区:一个配置字符串等于全部算法。
GSPO的序列比率如何理解?
参考思路与常见误区
以生成序列为单位,用长度归一化的logprob差形成比率并裁剪;不是token比率算术平均。
常见误区:把名字换成GSPO而不改变作用单位。