Transformer 块:注意力之后还有哪些计算
沿隐藏状态走过多头、输出投影、残差、归一化与 FFN,比较 Pre-Norm、Post-Norm、LayerNorm 和 RMSNorm。
注意力输出只是 Transformer 层中的一个分支。完整块还需要把多个头的信息合回隐藏维度、保留残差通路、控制数值尺度,并通过前馈网络变换每个位置的特征。只会写 softmax(QKᵀ)V,还无法解释一层模型的参数、数据流和训练稳定性。
沿一个 Pre-Norm 块看数据流
设输入 X 为 [T,D],每个头输出 [T,d],共有 H 个头。拼接得到 [T,Hd],再乘输出投影 Wo,回到 [T,D],才能与原 X 相加。通常 Hd=D,但这是模型配置,不是矩阵乘法的定理。Wo 让不同头的通道在回到隐藏空间时重新混合;不能把多头输出简单求平均当成等价实现。
常见 Pre-Norm 块可写成:
A = X + Attention(Norm(X))
Y = A + FFN(Norm(A))注意力分支跨位置交换信息,FFN 通常逐位置独立地应用相同参数。FFN 不直接读取其他位置,但它接收的 A 已含上下文信息,因此不能说 FFN“完全不处理上下文”。许多具体模型还加入最终归一化、偏置、dropout 或不同残差安排,阅读代码时应以实际顺序为准。
FFN 为什么要先升维再降维
普通 FFN 形式为 W2 σ(W1 x+b1)+b2:先从 D 映射到中间维度 F,经过非线性,再映射回 D。无偏置时两个矩阵共有 2DF 个参数。若没有非线性,两次线性变换可合成一次,表达形式会受到限制。ReLU 把负值置零;GELU 采用平滑门控形态,具体公式和近似实现也要核对。
门控 FFN 如 SwiGLU 可写成 Wdown(SiLU(Wgate x) ⊙ Wup x),⊙ 是逐元素乘法,SiLU 为 z×sigmoid(z)。它有两条升维投影和一条降维投影,无偏置参数量约 3DF;比较同参数预算时,中间宽度往往需要相应调整。不要把更换激活函数与新增一条门控投影混为一个不影响参数量的小改动。
残差与归一化分别解决什么
残差加法 y=x+F(x) 提供保留输入的直接路径。对输入的雅可比包含恒等项 I,有助于信息与梯度传播,但它不是梯度永不消失或爆炸的数学保证;分支尺度、初始化和深度仍然重要。
LayerNorm 对单个位置的 D 个特征计算均值 μ 和方差 v,输出 γ×(x−μ)/sqrt(v+ε)+β。RMSNorm 使用均方根 sqrt(mean(x²)+ε) 归一化,通常只有逐维缩放 γ,不减均值。两者通常不沿批次统计,因此不要与 BatchNorm 的批统计混淆。
对于 [1,3],均值 2、方差 1,所以忽略很小 ε 的 LayerNorm 约为 [-1,1];RMS 为根号5,RMSNorm 约为 [0.447,1.342]。把输入整体加10,LayerNorm 的归一化结果基本不变,RMSNorm 则改变,因为它没有重居中。真实模型有学习到的 γ/β;下面算例固定 γ=1、β=0 以显露基础运算。
用小程序比较 Pre-Norm 与 Post-Norm
Post-Norm 将归一化放在残差相加之后:Norm(X+Attention(X));Pre-Norm 先归一化分支输入,再将分支结果加到原 X。两个顺序一般不交换。研究发现位置会影响深层训练的梯度尺度和稳定性,但不能由“采用 Pre-Norm”推出所有模型都不需要 warmup 或其他稳定措施。
保存为 block.py,运行 python -X utf8 block.py。这里的分支 F 是固定二维缩放,用于隔离观察顺序,不包含真实注意力、FFN 或训练。
"""验证归一化及残差次序,固定线性分支不代表完整 Transformer。"""
from math import sqrt
def layer_norm(x, eps=1e-5):
mean = sum(x) / len(x)
variance = sum((v - mean) ** 2 for v in x) / len(x)
return [(v - mean) / sqrt(variance + eps) for v in x]
def rms_norm(x, eps=1e-5):
rms = sqrt(sum(v * v for v in x) / len(x) + eps)
return [v / rms for v in x]
def branch(x):
return [2 * x[0], .5 * x[1]]
def add(a, b):
return [x + y for x, y in zip(a, b)]
def pre_norm(x):
return add(x, branch(layer_norm(x)))
def post_norm(x):
return layer_norm(add(x, branch(x)))
if __name__ == '__main__':
x = [1., 3.]
for name, values in [('LayerNorm', layer_norm(x)), ('RMSNorm', rms_norm(x)),
('PreNorm', pre_norm(x)), ('PostNorm', post_norm(x))]:
print(name, [round(v, 6) for v in values])
print('平移后 LayerNorm', [round(v, 6) for v in layer_norm([11., 13.])])
print('平移后 RMSNorm', [round(v, 6) for v in rms_norm([11., 13.])])LayerNorm [-0.999995, 0.999995]
RMSNorm [0.447213, 1.341639]
PreNorm [-0.99999, 3.499998]
PostNorm [-0.999991, 0.999991]
平移后 LayerNorm [-0.999995, 0.999995]
平移后 RMSNorm [0.9135, 1.079591]PreNorm 中,先把 [1,3] 归一化到约 [-1,1],分支输出约 [-2,0.5],再加原输入得到约 [-1,3.5]。PostNorm 先把原输入送进分支得到 [2,1.5],残差为 [3,4.5],最后归一化到约 [-1,1]。把分支改为全零,PreNorm 返回原输入,PostNorm 仍归一化原输入,更容易看清恒等路径的区别。
从块走到下一 token
若堆叠 L 个块,隐藏状态在每层保持 [T,D],最后经模型规定的归一化,再由语言模型输出头映射到 [T,V] 的词表 logits。输出头可能与输入 embedding 权重共享,也可能不共享;共享需要维度兼容,不能假定所有模型都采用。
训练时对目标位置的 logits 计算交叉熵,反向传播更新参数;推理时从最后所需位置的分布选 token。归一化稳定数值尺度,不能代替因果 mask;FFN 增加非线性变换,不能代替位置编码;残差保持通路,不能代替监督信号。面试解释时沿数据流说清每一项职责,比列一串层名更有说服力。
排查移植模型的数值差异时,优先核对层顺序、ε、方差定义、精度、偏置、激活近似和权重转置。把 RMSNorm 当 LayerNorm、把 Pre-Norm 改成 Post-Norm,形状可能完全正确,结果仍然显著不同。先对一个短输入逐层比较中间输出,再扩大到完整生成,避免只凭最终文本猜原因。
逐项情境追问与故障定位
以下为机制分析与手算情境。可先遮住回答独立判断,再核对输入、失败位置和选择条件;它们不代表真实模型、远端服务或设备实验记录。
多头注意力:四头各输出[T,16],隐藏维度64,直接相加为什么不等价?
应拼成[T,64]后经Wo映射,再与[T,64]残差相加。平均四头只得[T,16]并丢失通道组合,额外广播可能隐藏形状错误。拼接保留各头特征但有投影成本;逐头、拼接和Wo后打印形状并以固定小张量核对顺序。
FFN:删掉FFN激活训练更快,为什么两层线性能力减少?
无非线性时W2W1可合成一次线性映射,升维再降维不带来同样非线性表达。FFN逐位置变换已含上下文的通道,不能代替注意力通信。先比较中间激活是否被错误省略;增加中间宽度提升容量也增加约2DF参数和计算。
残差:残差分支输出零,模块还改变输入,是什么线索?
纯y=x+F(x)应返回x;若后面有Post-Norm仍会归一化,先核实际层序。恒等路径帮助梯度传播但不保证所有深度稳定,分支尺度过大仍可失控。隔离归一化与分支做零分支测试,再逐层看范数,不直接把变化归因于残差坏了。
LayerNorm/RMSNorm:移植RMSNorm时减去均值,形状正确为何输出错?
RMSNorm除以均方根而不重居中;[1,3]输出约[0.447,1.342],LayerNorm约[-1,1]。RMSNorm省去中心化但不是任意替换LN的等价优化。固定gamma/beta/epsilon,逐行核统计维度和精度,再比较中间张量。
激活函数:把ReLU改SwiGLU却保持两矩阵,算真正SwiGLU吗?
不算;SwiGLU有gate和up两条升维,SiLU(gate)与up逐元素相乘再down,约3DF参数。固定预算时需调整宽度,不能把质量提升全归于激活名字。检查权重数量、门控乘法和SiLU近似,以相同输入对比分支输出。
Pre/Post Norm:Pre-Norm换Post-Norm后训练不稳,该先调学习率吗?
先确认变更后的公式及初始化、epsilon、分支尺度;两次序一般不交换。零分支下Pre返回x、Post返回Norm(x),可做最小定位。Pre常利于深层梯度但不承诺免warmup;通过受控对照再调优化器,避免多因素一起改失去归因。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
多头输出如何回到可与残差相加的形状?
参考思路与常见误区
H个[T,d]头沿特征维拼接成[T,Hd],再经输出矩阵映射到[T,D],与原[T,D]隐藏状态相加。Wo混合头通道,简单平均不是等价替代。Hd常等于D但仍应检查模型配置。
常见误区:把头数维直接与原输入相加,或认为平均能保持全部投影功能。
FFN逐位置计算,为什么仍能处理包含上下文的信息?
参考思路与常见误区
FFN本身通常不在位置间交互,但它的输入来自已混合上下文的注意力和残差。它用共享参数在每个位置做通道非线性变换。跨位置通信和通道变换职责不同。
常见误区:把逐位置处理理解成输入只包含原始单词的孤立含义。
LayerNorm与RMSNorm对[1,3]及其整体平移有什么不同?
参考思路与常见误区
固定缩放1、偏置0时,LayerNorm减均值后约为[-1,1],整体平移不改变结果;RMSNorm约为[0.447,1.342],不减均值,整体平移会改变结果。二者通常按单个位置特征维归一化。
常见误区:认为RMSNorm只是换名称的LayerNorm,或沿批次算统计量。
残差分支为零时,Pre-Norm与Post-Norm各输出什么?
参考思路与常见误区
Pre-Norm的x+F(Norm(x))返回x;Post-Norm的Norm(x+F(x))返回Norm(x)。这展示了恒等路径差别。真实训练稳定性还依赖初始化、学习率和深度,不能承诺采用Pre-Norm后不需要任何warmup。
常见误区:把两个次序当成可自由互换的写法。
普通FFN与SwiGLU在固定中间宽度下参数量相同吗?
参考思路与常见误区
无偏置普通两矩阵FFN约2DF参数;SwiGLU有gate、up和down三个矩阵,约3DF。因此公平比较参数预算时常需调整F。激活函数变化与门控分支增加必须分别说明。
常见误区:认为SwiGLU只替换一个逐元素函数,不增加投影矩阵。
相关原始资料:Transformer、RMSNorm、归一化位置研究、GLU 变体。接着看 MoE 如何选择 FFN 专家。