偏好数据与奖励模型:从成对比较到可信评分
推导Bradley–Terry概率与损失,解释奖励模型架构、标签噪声、长度偏差和分数标定。
奖励模型通常不回答“这段文本客观价值是多少”,而是从比较标签学习“同一提示下哪个回答更受偏好”。标注规则不清、长度与正确性混在一起,模型就可能学会奖励漂亮措辞,而不是奖励任务完成。
成对偏好的数学目标
对提示x,优选回答y_w与劣选回答y_l,模型分别输出标量r_w、r_l。Bradley–Terry模型假设:
P(y_w 优于 y_l | x) = sigmoid(r_w - r_l)
L_pair = -log sigmoid(r_w - r_l)差值为0时胜率0.5、损失log2≈0.693147;差值1时胜率约0.731059;差值2时约0.880797。奖励整体同时加100,差值不变,偏好概率也不变。因此原始分数的绝对零点通常没有自然意义,不能直接跨模型比较“8分优于另一模型的5分”。
常见RM由语言模型骨干加标量head组成,读完整prompt+response,在约定位置提取表示后输出分数。池化位置、padding和EOS处理要一致;错误取到padding位置会让评分依赖批次长度。训练更新哪些层、是否使用LoRA、输出中心化等属于具体实现选择。
标签质量比pair数量更重要
为什么常让标注者比较A/B而不是分别给0到10分?同一问题下的相对选择往往更容易保持尺度一致,减少有人习惯打8分、有人习惯打5分的标尺差异;但成对比较仍可能受候选顺序、风格、长度和标注者价值取向影响。它只给相对关系,难表达“两个都很差”“差一点还是差很多”,候选很多时成对覆盖成本也高,偏好还可能不传递。应保留平局/不确定、分维度标准及抽样复核,必要时补绝对合格性检查,不能认为pair标签天然无偏。
RM与策略模型的关系是评价器与被优化者,架构和大小可以不同,也可从相同预训练家族初始化;RM的标量head输出不是策略的下一个token概率。在经典PPO式RLHF中,RM通常在策略优化阶段冻结,策略参数更新后其输出分布会变化,因此RM也可能遇到分布外答案。不要将奖励模型、冻结参考策略和随rollout更新的旧策略混为同一份权重。
优劣应在同一prompt、相同可见证据和相同工具条件下判断。一个回答看到额外资料,另一个没有,模型可能学到数据可得性而非回答质量。标注维度可分事实、指令遵循、安全、完整性、简洁性,再确定冲突时如何裁决。
保留平局、不确定和标注理由。把所有平局硬分成winner/loser会注入噪声;同一pair在不同标注者间反复翻转,需分析规则或难度,而不是简单多数压过去。可以记录置信度、分层采样复核或采用适合软标签的目标,但不要用“噪声鲁棒”借口跳过审计。
长度偏差、位置偏差、模型来源偏差和风格偏差都可能成为捷径。对调候选顺序检查一致性,构造长但错误与短但正确的对照,按领域、语言和长度切片评测。训练和测试按prompt家族隔离,避免相同问题的不同候选跨集合。
奖励标定与优化风险
RM在训练分布上的偏好准确率高,不意味着策略反复优化它后仍可信。策略会寻找评分漏洞,例如堆砌术语、重复正确格式或过度拒答。随着策略分布变化,RM需要独立回归与人工抽样。
可以对分数做中心化或标准化帮助优化,但要固定统计范围与更新方式。将偏好概率解释成真实正确率需要额外标签和校准;事实正确、用户喜欢、业务成功是不同指标。展示RM分数时必须注明模型版本和用途。
高奖励却模式化、奉承,如何查
若线上答案越来越像固定模板、赞同用户错误前提,却缺少有效信息,先拆分奖励构成与人类反馈:标注是否把礼貌、长度、正向语气误当帮助性,裁判是否偏爱同源模型风格,训练是否过度优化单一RM。检查回答多样性、重复短语、事实支持率、任务完成率、过度拒答及不同用户群体反馈,而不只看平均RM分数。
可用成对反例检验:用户断言错误事实,候选A礼貌纠正并给证据,候选B热情认同;另用长而空泛与短而有用的回答对照。若RM选B,先修标注准则、补反例并重新校准,而不是继续加大RL步数。若RM本身能区分但策略仍模式化,再检查KL、学习率、训练时长、数据窄化和输出长度奖励,回退到较早checkpoint做固定集对照。上线保留人工抽样与真实任务结果,不能把用户满意点击当唯一事实标签。
跟做:奖励平移的数值实验
Python 3.11+保存 reward_pairs.py,执行 python reward_pairs.py。程序计算Bradley–Terry目标,并对单个奖励差参数做一次逻辑回归更新,不训练神经网络RM。
"""Bradley-Terry偏好概率和标量奖励差更新;不是神经RM训练。"""
import math
def sigmoid(x): return 1/(1+math.exp(-x))
def pair_loss(chosen, rejected): return math.log1p(math.exp(-(chosen-rejected)))
def step(delta, label=1., lr=.5):
return delta-lr*(sigmoid(delta)-label)
if __name__ == '__main__':
for delta in [0., 1., 2.]:
print('delta', delta, 'P(chosen):', round(sigmoid(delta), 6),
'loss:', round(pair_loss(delta, 0), 6))
print('shift invariant:', pair_loss(2, 1) == pair_loss(102, 101))
print('clean update:', step(0., 1.))
print('conflicting 50/50 update:', step(0., .5))实际输出:
delta 0.0 P(chosen): 0.5 loss: 0.693147
delta 1.0 P(chosen): 0.731059 loss: 0.313262
delta 2.0 P(chosen): 0.880797 loss: 0.126928
shift invariant: True
clean update: 0.25
conflicting 50/50 update: 0.0clean update把初始差值0推到0.25;若标签一半支持一半反对,平均标签0.5在差值0处梯度为0。冲突标签不是“更多数据就会变好”的简单情形。shift invariant说明整体分数平移不会改变成对损失。
将优劣颠倒相当于改变差值符号,损失上升;如果训练日志损失很低但人工认为错误,先查标签顺序、数据泄漏和奖励捷径。程序使用小范围数值,真实训练应采用稳定logsigmoid而非直接exp大数。
方法背景见 InstructGPT论文,实际接口见 TRL RewardTrainer。本节没有真实偏好标注实验或RM质量分数。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
奖励差为1时偏好概率约多少?
参考思路与常见误区
Bradley–Terry下sigmoid(1)≈0.731059,表示模型比较概率,不是事实正确率。
常见误区:奖励1就是100%正确。
两个奖励同时加100为什么loss不变?
参考思路与常见误区
成对目标只依赖差值,整体平移抵消,因此绝对分数零点不可直接解释。
常见误区:跨RM直接比较原始分数。
偏好胜率高为何不代表事实更准?
参考思路与常见误区
标签可能偏好长度、风格或同源模型,RM学习这些捷径;需要事实和业务独立评测。
常见误区:人或AI喜欢就等于正确。
冲突标签应该怎样处理?
参考思路与常见误区
保留平局与置信度,复核标注标准和难度,必要时用适合软标签的目标,不能硬造一致意见。
常见误区:增加重复pair就能自动消噪。
RM上线给策略优化后为何仍要审计?
参考思路与常见误区
策略分布变化并会利用评分漏洞,训练分布偏好准确率不能保证优化后奖励有效。
常见误区:冻结RM便永久可信。