后训练组合:多阶段SFT、Best-of-N、DPO与重排如何公平比较
冻结协议、数据与候选预算,区分训练提升、采样覆盖和选择器收益,并核算组合方案的成本。
新版模型一次生成8个回答再挑最好,旧版只生成1个,最终分数上涨不能直接归因于微调。后训练与推理时扩展可以组合,但必须把训练、候选覆盖和选择器三个因素拆开比较。
先冻结协议与评测
冻结任务定义、消息与工具协议、模板、数据分割、评测器、模型版本、采样参数、最大token和候选数。训练时工具格式与部署不一致,即使语言质量提高也可能无法执行。评测中的环境、检索资料和授权状态也要可比较。
多阶段SFT可先学通用指令或合法工具格式,再学领域任务和复杂轨迹。阶段顺序、样本混合和学习率影响遗忘;后一阶段数据太窄,可能破坏前面能力。保留跨阶段回归集,比较单阶段、分阶段与混合训练,而不是认为阶段越多越好。
Best-of-N和候选重排
Best-of-N先采样N个候选,再用奖励模型、规则、工具验证或裁判选择一个。N增加往往提高候选覆盖,但生成成本近似增加,重复候选降低收益;延迟受并行额度和最长回答影响。选择器有误差时,更多候选也给投机答案更多机会。
oracle any表示候选中至少有一个正确,通常只能在离线已知标签下计算;selected success表示实际选择器选出的答案正确。两者差距定位选择器问题,不能把oracle作为线上准确率。pass@k等估计也有采样和独立性假设,不应和单次选中成功率混用。
重排可基于事实验证、执行结果、偏好RM或模型裁判。排序分数未必校准,来源、长度与风格偏差会影响选择。选择器应在独立数据验证,不能用测试答案直接挑最佳再声称系统实现了该效果。
从候选到DPO或蒸馏
可以将高质量候选筛选为SFT示范,或构造chosen/rejected做DPO;前提是选择标准可靠且数据独立。若只留下容易被裁判识别的例子,训练分布会收窄;若把模型自己错判的答案反复训练,会放大错误。
多阶段方案要记录每一步输入数据、模型revision、选择器版本和过滤规则。DPO改变偏好分布,SFT模仿示范,Best-of-N改变推理计算,重排改变最终选择;它们互相影响,但不具备天然可加性。先验证单项收益,再做组合消融。
成本对照应包含什么
总成本包含数据、训练和部署固定成本,以及每次请求的生成、检索、验证、重排与失败重试。可计算每个成功任务成本,而不是只看每千token价格。训练节省了线上候选数,可能在高流量下摊薄成本;小流量时直接多采样可能更简单,结论取决于实际规模和约束。
公平实验至少保留基础N=1、基础N>1、微调N=1、微调N>1四组,并固定选择器。再单独替换选择器观察收益。报告候选token总量而不只报告N,因为不同模型输出长度不同。
跟做:正确候选存在,但选择器选错
保存 posttraining_comparison.py,Python 3.11+执行 python posttraining_comparison.py。每个候选是(是否正确,选择器分数)固定数据,非模型生成实验。generation_units只计候选数量,不是实际token或货币费用。
"""后训练与Best-of-N的固定候选对照;不含真实模型生成。"""
CASES = [
{'base': [(0, .1), (1, .9)], 'tuned': [(1, .8), (1, .7)]},
{'base': [(1, .6), (0, .9)], 'tuned': [(1, .8), (0, .9)]},
{'base': [(0, .2), (0, .3)], 'tuned': [(0, .3), (1, .7)]}]
def evaluate(model, n):
selected, oracle = 0, 0
for case in CASES:
candidates = case[model][:n]
selected += max(candidates, key=lambda pair: pair[1])[0]
oracle += max(pair[0] for pair in candidates)
return {'selected_success': selected, 'oracle_any': oracle,
'generation_units': len(CASES)*n, 'rerank_items': len(CASES)*n if n>1 else 0}
if __name__ == '__main__':
for model in ['base', 'tuned']:
for n in [1, 2]: print(model, 'N=', n, evaluate(model, n))实际输出:
base N= 1 {'selected_success': 1, 'oracle_any': 1, 'generation_units': 3, 'rerank_items': 0}
base N= 2 {'selected_success': 1, 'oracle_any': 2, 'generation_units': 6, 'rerank_items': 6}
tuned N= 1 {'selected_success': 2, 'oracle_any': 2, 'generation_units': 3, 'rerank_items': 0}
tuned N= 2 {'selected_success': 2, 'oracle_any': 3, 'generation_units': 6, 'rerank_items': 6}基础模型N=2有两题存在正确候选,但选择器只选对一题,因为第二题把错误候选打得更高。微调N=2三题均有正确候选,仍只选对两题。若只报告oracle会夸大实际系统表现。
比较基础N=1和微调N=1更接近训练因素对照;比较同模型N=1与2则观察候选和重排联合作用。真实试验还需随机种子、重复采样、置信区间与资源测量,不能从这三条夹具得出训练收益结论。
训练接口参考 SFTTrainer 与 DPOTrainer,偏好目标依据 DPO论文。本节未执行任何实际后训练或付费候选采样。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
如何区分训练提升与候选数提升?
参考思路与常见误区
固定模型比较N,固定N比较基础与微调,至少做基础/微调×N1/N大四组且固定选择器和采样。
常见误区:新版N8对旧版N1后把提升归于训练。
oracle any和selected success差在哪?
参考思路与常见误区
前者只看候选中是否存在正确答案,后者看选择器实际选中是否正确;oracle通常仅离线可得。
常见误区:用oracle冒充线上成功率。
Best-of-N为什么可能增加奖励投机?
参考思路与常见误区
更多候选扩大搜索评分漏洞的机会,选择器偏差会挑中高分错误答案,需独立事实或执行验证。
常见误区:N越大必然单调提高真实质量。
多阶段SFT要防什么?
参考思路与常见误区
后一阶段窄分布可能遗忘先前能力,需记录阶段数据和配置并保留跨阶段回归,与混合训练对照。
常见误区:阶段越多越全面。
组合策略成本如何比较?
参考思路与常见误区
计训练固定投入与每请求生成、验证、重排、重试成本,按成功任务核算,并记录Token和延迟而不只N。
常见误区:候选数等于实际货币费用。