Q/K/V 与因果注意力:把矩阵乘法算到输出
从张量形状、缩放和掩码推导三个位置的注意力,理解并行训练为什么不等于提前看到答案。
一句话中的每个位置起初有自己的向量。注意力让当前位置从允许访问的位置取信息,并按权重组合。Q、K、V 都由输入的线性投影得到:Q 用来提出匹配条件,K 用来计算匹配程度,V 是按权重汇总的内容。这些说法描述计算职责,不能把某一个维度直接解释成固定的人类语义。
先把形状写对
对单个注意力头,设输入 X 的形状为 [T, D],T 是序列长度,D 是隐藏维度。Wq、Wk 的形状为 [D, d],Wv 为 [D, dv]。于是 Q、K 为 [T, d],V 为 [T, dv]。
Q = X Wq [T, d]
K = X Wk [T, d]
V = X Wv [T, dv]
scores = Q Kᵀ / √d [T, T]
weights = softmax(scores + mask, 按每一行)
output = weights V [T, dv]矩阵第 i 行第 j 列表示第 i 个查询对第 j 个键的打分。softmax 必须沿键位置归一化,使每个查询的权重之和为 1。转置或归一化维度弄错,程序可能仍有输出,但已经不是同一种运算。
缩放因子来自点积的数值规模:当各维独立、均值为零、方差约为 1,d 维点积的方差约为 d。除以根号 d 有助于避免维度增大后分数过大,使 softmax 过早接近单点选择。它是稳定尺度的设计,不保证所有实际激活都独立同分布。
三个位置,算出一个完整输出
取 X 为 [[1,0],[0,1],[1,1]],选择下面程序里的三个投影矩阵,就得到 Q 等于 X,K 为 [[1,1],[0,1],[1,2]],V 为 [[1,0],[0,2],[1,2]]。
第 0 个位置只能访问自己,所以权重为 [1,0,0]。第 1 个位置的 Q 为 [0,1],对前两个 K 的点积都是 1,缩放后仍相等,归一化得到 [0.5,0.5,0]。它的输出为 0.5×[1,0] + 0.5×[0,2] = [0.5,1]。
第 2 个位置对三个 K 的点积分别是 2、1、3;除以根号 2 后做 softmax,得到约 [0.284,0.140,0.576]。加权汇总后得到 [0.860,1.432]。高分位置贡献更大,但注意力输出不是“选中的那个词”,而是值向量的组合。
实现掩码和稳定 softmax
保存为 attention.py,运行 python -X utf8 attention.py。此实现处理从位置 0 开始的对齐自注意力;带 KV Cache 的单步查询将在后文单独实现,不能直接套用这里的行号掩码。
"""用三行手工输入观察 Q/K/V、因果掩码与输出;不是训练后的模型。"""
from math import exp, sqrt
def matmul(a, b):
return [[sum(x * y for x, y in zip(row, col))
for col in zip(*b)] for row in a]
def softmax(scores):
maximum = max(scores) # 先平移,避免很大的 exp 溢出。
weights = [exp(score - maximum) for score in scores]
total = sum(weights)
return [weight / total for weight in weights]
def attention(q, k, v, causal=True):
if len(k) != len(v) or not k:
raise ValueError("K/V 必须有相同的非零位置数")
output, rows = [], []
for i, query in enumerate(q):
scores = [sum(a * b for a, b in zip(query, key)) / sqrt(len(query))
for key in k]
# 被屏蔽的位置用负无穷,softmax 后严格为 0。
if causal:
scores = [score if j <= i else float('-inf')
for j, score in enumerate(scores)]
weights = softmax(scores)
rows.append(weights)
output.append([sum(weights[j] * v[j][d] for j in range(len(v)))
for d in range(len(v[0]))])
return output, rows
X = [[1, 0], [0, 1], [1, 1]]
WQ = [[1, 0], [0, 1]]
WK = [[1, 1], [0, 1]]
WV = [[1, 0], [0, 2]]
if __name__ == '__main__':
q, k, v = matmul(X, WQ), matmul(X, WK), matmul(X, WV)
output, weights = attention(q, k, v)
print('Q =', q)
print('K =', k)
print('V =', v)
for i, (row, value) in enumerate(zip(weights, output)):
print(i, '权重', [round(x, 4) for x in row],
'输出', [round(x, 4) for x in value])Q = [[1, 0], [0, 1], [1, 1]]
K = [[1, 1], [0, 1], [1, 2]]
V = [[1, 0], [0, 2], [1, 2]]
0 权重 [1.0, 0.0, 0.0] 输出 [1.0, 0.0]
1 权重 [0.5, 0.5, 0.0] 输出 [0.5, 1.0]
2 权重 [0.284, 0.14, 0.576] 输出 [0.86, 1.432]softmax 先减去行内最大值,避免指数溢出。对所有元素加同一个常数不会改变 softmax,因为分子分母的公共指数因子会相消。被屏蔽位置相当于加负无穷,指数后是零;不能简单把它的原始分数改为零,因为 exp(0)=1,它仍会分到权重。
把 V 的最后一行改成 [1000,1000],前两行输出应完全不变。这比“看起来权重合理”更直接地检验未来信息没有泄漏。再把调用中的 causal=True 改成 False,前两行会受影响。真正批量训练还需要处理 padding 掩码,避免把补齐位置当有效内容;全行被屏蔽时必须有明确处理,否则 softmax 可能产生 NaN。
因果掩码为什么允许并行训练
训练时整条真实序列已知,可以同时构造所有位置的 Q/K/V。掩码保证位置 i 的表示不依赖 i 之后的输入。把位置 i 的输出用于预测位置 i+1 的 token,就形成自回归训练。已知答案用于计算损失,不等于把未来答案开放给当前位置。
生成时未来 token 尚不存在,因此通常需要逐步选择 token。并行训练与逐步生成的差别是数据是否已知,不是训练时取消了因果关系。训练标签偏移错一位,则可能训练成复制当前输入;面试中应同时说明掩码和标签对齐。
对于长度 T,朴素注意力分数有 T² 项,QK 和加权 V 的运算量约为 O(T²d)。FlashAttention 等实现通过分块和融合减少显存读写与中间矩阵存储,不等于把一般稠密注意力的所有配对运算消掉。完整 Transformer 还包含多头拼接、输出投影、残差、归一化和前馈网络;这段代码只用于逐项核对注意力运算。
相比 RNN,长序列优势来自哪里
RNN按时间递推,早期信息影响远处输出需要经过多个状态转换,训练反向传播路径也随距离增长;门控可改善但不保证保留全部细节。全局自注意力中两个可见位置可在同一层直接建立联系,减少依赖的路径长度,且训练时各位置的投影和注意力可并行计算。这是长距离建模和训练吞吐的结构优势,不是“序列越长注意力一定更省资源”:朴素全注意力的二次配对成本会成为瓶颈,RNN递推状态存储则可保持固定规模。任务、实现、硬件和长文证据利用仍需实测。
综合追问:注意力输出形状正确,但未来内容改变了过去输出,哪里错了?
这是给定条件下的机制推演;数值用于解释判断,不是新增线上或模型实测。先独立回答,再核对下面的推理。
展开推理、取舍与排错路径
三个位置、投影维度2时,Q/K为3×2,分数3×3,乘V后仍按位置得到3×dv。QK点积除以根号2调整尺度,softmax逐行归一化并减行最大值防溢出,这两个缩放不能互换。若把未来分数设0,exp(0)仍为1,未来V会进入上下文加权和;用负无穷屏蔽后再改未来V,早期输出应保持不变。全屏蔽行则必须定义拒绝或特殊处理,不能默认NaN可接受。
稠密注意力能直接连接远处位置,训练时整序列并行,但长度翻倍会让分数项约增四倍;RNN逐步传状态,成本与信息路径是另一种取舍。FlashAttention减少中间存储与读写,不一般性消除所有位置配对。面试先写形状和一行权重,再解释mask与标签偏移,最后说明复杂度与实现边界,才能区别数值错、因果错和容量不足。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
T=3、D=4、d=2、dv=2 时,Q、分数和输出分别是什么形状?
参考思路与常见误区
Q 和 K 是 [3,2],V 是 [3,2];QK 转置得到 [3,3],每一行按键位置做 softmax;权重乘 V 得 [3,2]。输入 D 决定投影矩阵第一维,不直接决定位置分数矩阵大小。
常见误区:把分数矩阵写成 [d,d],或按查询维而不是键维归一化。
为什么除以根号 d?softmax 减最大值又解决什么?
参考思路与常见误区
在独立、零均值、单位方差的近似下,d 维点积方差随 d 增长,除根号 d 稳定尺度。减行最大值利用 softmax 的平移不变性防止指数溢出。这两个操作分别处理尺度和数值计算,不能相互替代。
常见误区:声称除根号 d 会改变向量维数,或减最大值改变了理论概率。
因果掩码能否把未来位置的分数置零?
参考思路与常见误区
不能简单置零,零分数经指数后仍有正权重。应在 softmax 前屏蔽为负无穷或用等价逻辑,确保未来权重为零。全屏蔽行需要特殊处理,避免负无穷减负无穷产生 NaN。
常见误区:把分数为零与归一化后权重为零混为一谈。
训练把整句输入模型,为什么不算泄漏下一 token?
参考思路与常见误区
因果掩码让位置 i 只能访问到 i,位置 i 的输出预测标签 i+1。全序列已知使各位置前向可以并行;未来标签用于损失而不是可见输入。既要掩码正确,也要标签正确偏移。
常见误区:认为只要标签偏移就不需要因果掩码,或认为训练必须逐 token 执行。
怎样用反例检查因果注意力?FlashAttention 是否消除二次计算?
参考思路与常见误区
修改未来位置的 V,早期位置输出应不变;去掉因果掩码后应能观察变化。朴素稠密分数有 T² 项,FlashAttention 通过分块融合减少中间存储和显存读写,并不一般性消除所有位置配对的运算。
常见误区:只验证输出形状,或把少存 T² 中间矩阵说成注意力运算变成线性。
下一步读 RoPE 如何引入位置。原始结构与缩放点积注意力见 Attention Is All You Need。