SFT目标与训练过程:从label mask到checkpoint选择
手算自回归交叉熵,理解提示与回答监督、模板、batch、epoch、学习率以及评估保存的完整训练循环。
监督微调不是把文档塞进模型后自动变聪明。训练器把示范转换成token序列,用前面的token预测下一个目标,再对选定位置计算损失并更新参数。模板、对齐和mask出错时,loss仍可能下降,但模型学到的是错误任务。
自回归目标与label mask
设目标token为y_t,模型根据前文给它概率p_t;带mask的平均负对数似然为:
L = - Σ_t m_t log pθ(y_t | y_<t) / Σ_t m_t
m_t ∈ {0,1},至少一个m_t=1提示token作为上下文参与前向计算,但在assistant-only训练中不直接作为预测目标计入loss。它们仍影响后续回答的隐藏状态与梯度路径,不能说“提示完全不参与训练”。全token目标在某些任务也可合理使用,关键是与你想学习的行为一致。
自回归实现通常将logits和labels错一位对齐:位置t的输出预测t+1的token。忽略标签常用-100,但具体collator和trainer处理以实际实现为准。padding必须mask,否则模型可能主要学填充;截断后回答被全部删掉,会出现有效监督token数为零。
chat template必须与推理一致
模板添加角色标记、轮次分隔和结束符。训练与推理使用不同模板,可能让模型无法识别回答开始或不断续写。不要重复添加特殊token;工具调用格式与多模态内容也需要对应模板。
当前TRL的SFTConfig提供assistant_only_loss,要求模板支持相应生成区域标记;部分模型族有配套模板处理,但不能假定任何自定义模板都会正确返回mask。训练前实际打印一条token、decoded文本和有效label位置,确认系统、用户、工具观察与assistant输出是否符合目标。completion-only与assistant-only的组合还取决于数据格式。
packing把多个短样本放到一条序列中,提高有效token比例,但必须正确处理样本边界、attention与监督mask。数据打包方式改变可能影响统计和吞吐,比较实验时记录它。
工具调用能力也来自可学习的序列监督,而不是给模型注册一个Python函数后,它就自动理解函数实现。例如训练轨迹包含用户“查询订单o1”、assistant输出工具名get_order及参数、tool返回状态、assistant根据回执回答。把工具调用的名称、参数和必要终止标记作为assistant目标,工具观察通常只作上下文;这样模型学习何时选择工具、如何构造参数,以及下一轮如何使用结果。真实执行仍由宿主完成,模型只产生动作提议。
数据必须覆盖不应调用、缺参数要追问、工具报错要恢复、越权要拒绝的负例;只有成功轨迹容易学成无条件调用。工具schema、训练模板和推理模板不一致时,先打印序列及label mask,再分别统计工具选择正确率、参数语义正确率和执行后任务成功率。JSON合法并不证明工具选择正确;若训练集只有一个工具,则不能宣称学会了多工具选择。
batch、epoch、学习率与保存
microbatch决定一次前向反向处理多少样本;梯度累积若干microbatch后才做optimizer step。epoch表示遍历训练数据一次,重复样本越多,实际信息并不会随epoch增加。学习率决定每步参数更新尺度,过大可能发散或破坏已有能力,过小可能几乎不学;warmup和调度应按optimizer step计算,而不是随意按样本循环次数。
训练循环为前向→mask loss→反向→累积或更新→调度→定期验证与保存。恢复训练除了权重,还可能需要优化器、scheduler、随机状态和数据位置;仅加载模型权重不等于从同一步精确续训。
验证看同口径loss与业务指标,检查格式、事实、工具动作和拒答。不能只保存最后epoch;按预先规定的验证条件选择checkpoint,最后在独立测试集验收。
跟做:手算损失并更新一个标量
Python 3.11+保存 sft_objective.py 后运行 python sft_objective.py。程序计算真实数学值并进行一个二分类logit的梯度下降;它不是Transformer训练,没有tokenizer、GPU或自动微分。
"""手算级masked交叉熵与一个logit更新,不是语言模型训练。"""
import math
def masked_loss(probabilities, mask):
if len(probabilities) != len(mask) or not any(mask):
raise ValueError('nonempty aligned supervision required')
if any(p <= 0 or p > 1 for p in probabilities):
raise ValueError('probabilities out of range')
return -sum(math.log(p) for p, m in zip(probabilities, mask) if m) / sum(mask)
def sigmoid(x):
return 1 / (1 + math.exp(-x))
if __name__ == '__main__':
# 三个提示token、两个assistant目标token,概率已经与目标对齐。
probabilities = [.1, .2, .5, .8, .5]
print('assistant loss:', round(masked_loss(probabilities, [0, 0, 0, 1, 1]), 6))
print('all-token loss:', round(masked_loss(probabilities, [1]*5), 6))
z, lr = 0., .2
before = -math.log(sigmoid(z))
z -= lr * (sigmoid(z) - 1) # 二分类目标为1的交叉熵梯度。
print('one update:', round(before, 6), '->', round(-math.log(sigmoid(z)), 6))实际输出:
assistant loss: 0.458145
all-token loss: 1.104292
one update: 0.693147 -> 0.644397回答概率0.8和0.5对应损失 -(log 0.8 + log 0.5)/2 = 0.458145。把提示概率0.1、0.2、0.5也加入,平均值显著不同,因此不同mask的loss不能直接比较。标量更新中初始概率0.5,目标为1,梯度p−1=-0.5,学习率0.2使logit从0增到0.1,损失下降。
把所有mask设为0会拒绝,避免把无监督样本记作零loss。将回答概率设为0会拒绝直接log;真实实现用稳定log-softmax从logits计算,避免浮点下溢。
实际接口依据见 SFTTrainer 与 chat template说明。本节未运行真实模型微调,输出仅证明目标函数与标量更新。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
提示token被mask后是否完全不参与训练?
参考思路与常见误区
不直接计入目标loss,但仍作为上下文影响回答表示和梯度路径;不能把mask等同删除输入。
常见误区:mask=0就不经过模型。
概率0.8与0.5的平均交叉熵是多少?
参考思路与常见误区
负对数平均为-(log0.8+log0.5)/2≈0.458145,须确认目标对齐与有效mask。
常见误区:直接平均概率得到loss。
全mask为0应该怎么处理?
参考思路与常见误区
拒绝或显式过滤并记录,因为有效监督数为0会造成除零或无意义零loss;排查截断和模板。
常见误区:将零loss当完美学习。
assistant_only_loss为何依赖模板?
参考思路与常见误区
trainer需识别assistant生成区域,模板标记和数据格式要匹配;必须检查实际token与label位置。
常见误区:设置布尔参数即可适配任何模板。
恢复训练为何需要优化器状态?
参考思路与常见误区
参数之外的Adam矩、scheduler、随机状态和数据位置决定下一步更新;仅加载权重不等价精确续训。
常见误区:部署权重等于完整训练checkpoint。