损失与梯度:一次更新如何提高正确答案的概率
推导softmax交叉熵的p减y梯度,用有限差分核对,再讨论学习率、正则和过拟合。
训练并不是把正确答案直接存进参数。模型根据当前参数给出分数,损失衡量预测与标签的偏离,梯度指出局部增大损失的方向,优化器据此调整参数。理解一个三类例子的更新,就能看清为什么“训练曲线下降”仍不等于业务能力已经达标。
Sigmoid 与 softmax 分别建模什么
Sigmoid 把一个实数z映射为 1/(1+exp(-z)),常用于一个二元事件的概率。多标签任务可以给每个标签各一个sigmoid,各标签概率不要求相加为1。Softmax把一组分数归一化为总和1的分布,常用于相互排斥的多类选择,例如下一token在词表中选一个。
两类softmax中,第一类概率等于两个logit差的sigmoid。因此两者有联系,但不能因此把任意多标签任务都强行改成单个softmax。标签语义决定输出结构,不能只根据代码哪个函数方便选择。
交叉熵为什么惩罚自信的错误
对单个正确类别k,损失为−log(p_k)。正确类别概率0.9时损失约0.105,概率0.01时约4.605。错误类别再自信,本质上就是把正确类别压到很低,因而受到更大惩罚。损失关注标签正确性,但若标签本身错误,优化会把模型推向错误示范。
实现中可直接使用log-sum-exp:L = log(Σexp(z_i)) − z_k。先减最大logit稳定指数计算。常见框架的交叉熵函数接收未归一化logits,内部合并log-softmax;如果先softmax再送给要求logits的接口,相当于重复处理,梯度与目标都会变样。
推导p减y,理解更新方向
softmax为 p_i=exp(z_i)/Σexp(z_j)。对某个logit z_i 求导,log-sum-exp的导数是p_i,正确类别分数项的导数是one-hot标签y_i,因此 ∂L/∂z_i = p_i−y_i。
logits [2,1,0] 的概率约 [0.6652,0.2447,0.0900],正确标签索引为2(从0计数,即第三类)。梯度约 [0.6652,0.2447,-0.9100]。梯度下降使用 z←z−ηg,所以错误类别分数下降,正确类别分数上升。真实网络不是直接训练每条样本的独立logit,而是通过链式法则将梯度传回共享权重,其他样本的预测也可能同时改变。
用有限差分检查梯度
对第i个logit加/减很小的ε,近似导数为 [L(z+εe_i)−L(z−εe_i)]/(2ε)。有限差分慢且受数值误差影响,适合小例子的正确性检查,不适合训练大型模型。ε太大时局部近似粗糙,太小时相近数相减又会损失精度。
保存为 gradient.py,运行 python -X utf8 gradient.py。
"""三类交叉熵的解析梯度与有限差分,真实更新一个分数向量。"""
from math import exp,log
def probabilities(z):
values=[exp(v-max(z)) for v in z]
return [v/sum(values) for v in values]
def loss(z,target):
# log-sum-exp,避免先取极小概率再log。
maximum=max(z)
return maximum+log(sum(exp(v-maximum) for v in z))-z[target]
def gradient(z,target):
return [p-(i==target) for i,p in enumerate(probabilities(z))]
if __name__=='__main__':
z=[2.,1.,0.];target=2;eps=1e-5
analytic=gradient(z,target);numeric=[]
for i in range(len(z)):
plus=z.copy();minus=z.copy();plus[i]+=eps;minus[i]-=eps
numeric.append((loss(plus,target)-loss(minus,target))/(2*eps))
print('初始概率',[round(p,4) for p in probabilities(z)])
print('解析梯度',[round(g,4) for g in analytic])
print('数值梯度',[round(g,4) for g in numeric])
updated=[v-.5*g for v,g in zip(z,analytic)]
print('更新前后损失',round(loss(z,target),6),round(loss(updated,target),6))
print('正确类别概率',round(probabilities(updated)[target],4))初始概率 [0.6652, 0.2447, 0.09]
解析梯度 [0.6652, 0.2447, -0.91]
数值梯度 [0.6652, 0.2447, -0.91]
更新前后损失 2.407606 1.772836
正确类别概率 0.1699解析梯度与数值梯度在展示精度下相同。学习率0.5更新一次后,正确类别概率从约0.09提高到0.1699,损失从2.407606下降到1.772836。它仍不是最高概率类别,因此“loss下降”并不等于分类已经正确。
学习率和优化器改变什么
学习率决定沿更新方向走多远,过小收敛慢,过大可能越过低损失区域导致震荡或发散。随机小批训练的梯度有噪声;动量平滑历史方向,Adam类方法用历史一阶/二阶矩调整坐标更新尺度,但不能保证找到全局最优。
梯度裁剪限制异常大的梯度范数,学习率调度和warmup控制训练阶段步幅。裁剪不能修复错误标签、溢出NaN或错误损失mask。排错时先检查数据、有限损失与梯度、优化器是否实际更新,再调整超参数。
L1、L2与过拟合
加入L2正则λ/2 × Σw²,会在梯度中增加λw,倾向抑制大权重;L1正则λΣ|w|在非零处的次梯度为λ×sign(w),可能推动稀疏,但实际稀疏程度依赖优化方式。对于自适应优化器,解耦weight decay与把L2直接加到损失中一般不完全等价。
特征很多、希望选择少量有效特征的线性模型可考虑L1;强相关特征下它可能不稳定地选其中一个,必须检查特征稳定性。希望平滑收缩权重、保留多个相关信号时L2常更合适,但不会自然产生大量精确零。神经网络微调通常按实际优化器选择weight decay等方案,并对偏置、归一化参数是否衰减作明确配置。特征尺度影响惩罚强度,λ由验证集调节;不能把L1稀疏直接等同硬件推理加速,因为非结构化零值还需相应稀疏内核。
训练损失继续下降,验证损失却上升,是过拟合的常见信号。应检查泄漏与数据分布,再考虑更多有效数据、正则、早停、减小可训练容量等措施。验证集用于调参后,也不能再把它当完全未见测试集;最终评价需要独立测试与业务切片。
对于大模型适配,数据不多时训练过久、学习率过大或标签格式错误都可能破坏已有能力。LoRA减少可训练参数并不自动避免过拟合;损失、任务质量、通用回归和拒答行为都应分别观察。
综合追问:训练损失下降而验证效果下降,先查哪一个目标?
这是给定条件下的机制推演;数值用于解释判断,不是新增线上或模型实测。先独立回答,再核对下面的推理。
展开推理、取舍与排错路径
一张图片可能同时有猫和狗,用独立sigmoid处理两个标签比互斥softmax更符合语义;若任务是单选,softmax概率和为1才合理。正确类别概率从0.1变0.2,交叉熵从约2.303降到1.609,但另一类仍可能0.7,因此loss下降不等于答对。对logit的梯度p−y可用小步有限差分核对;若符号反了,更新会提升错误类别。步长过大时损失震荡,先在固定小批上减学习率核查,不立即堆数据。
训练变好而验证变差时检查数据泄漏、容量和训练轮数;L1惩罚绝对值倾向稀疏,L2惩罚平方更平滑地收缩参数,都有欠拟合风险。不能把Adam中的L2梯度项与AdamW解耦衰减混作完全相同。面试说明标签语义、损失定义、梯度方向、步长和泛化证据的顺序,比单报一个下降百分比更能定位原因。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
为什么softmax交叉熵的logit梯度是p减y?
参考思路与常见误区
负对数概率等于log-sum-exp减正确类别logit。前一项对第i分数的导数为p_i,后一项为one-hot的y_i,因此是p_i−y_i。梯度下降会降低错误分数、提高正确分数。
常见误区:把这个对logit的梯度直接当成所有网络权重的梯度,漏掉链式法则。
多标签为什么通常不使用一个softmax?
参考思路与常见误区
多标签可同时成立,各标签用独立二元概率,不要求总和为1;softmax的类别概率总和为1,适合互斥选择。输出结构应符合标签语义。
常见误区:因为标签数量多就强制它们互斥。
有限差分能替代反向传播训练大模型吗?
参考思路与常见误区
它可在小例子检查导数,但每个参数需要额外损失计算,代价过高且受步长数值误差影响。反向传播利用计算图共享中间结果高效求导。
常见误区:把教学数值梯度当成实际大模型优化方案。
L2正则与weight decay总是相同吗?
参考思路与常见误区
简单SGD下有相关等价形式,但自适应优化器中,把λw加到梯度会经过坐标缩放,解耦weight decay则直接衰减权重,一般不完全等价。要说明优化器和系数定义。
常见误区:不区分优化器就说二者永远相同。
loss从2.4下降到1.7,为什么不能说模型已经答对?
参考思路与常见误区
下降只表示目标概率提升,正确类别可能仍非最高。还要看任务指标、未见验证/测试以及关键切片;训练损失下降伴随验证变差可能是过拟合。
常见误区:用单个训练损失替代预测正确率和泛化效果。
接口定义参考 PyTorch CrossEntropyLoss 和 BCEWithLogitsLoss。这里的标准库算例用于理解数值,不要求安装训练框架。