MHA、MQA 与 GQA:查询头不变,KV 如何共享
从头分组和张量形状理解三种注意力结构,算清缓存缩减比例以及质量与速度的取舍。
多头注意力让多个查询子空间同时处理同一段上下文。常规 MHA 中,每个查询头有自己的 K、V 头;生成时这些历史 K/V 都要保存。MQA 和 GQA 主要减少 K/V 头数,查询头仍然可以很多,因此不能把它们理解成“只剩一个注意力头”。
先分清模型结构与头共享方式
Encoder 通常在已知输入内做双向自注意力,各位置可以互相读取,适合构造整段文本的表示。Decoder-only 生成模型采用因果自注意力,当前位置只读取自己及以前的位置。Encoder–Decoder 结构先编码输入,再由 Decoder 生成输出;Decoder 的自注意力遵守因果限制,交叉注意力则用 Decoder 的状态产生 Q,从 Encoder 输出产生 K/V。
例如翻译任务中,源句已经完整输入,Decoder 可以通过交叉注意力读取整个源句,但不能在目标句的自注意力中偷看尚未生成的目标词。Seq2Seq 指从一个序列生成另一个序列的任务/建模方式,常由 Encoder–Decoder 实现,不能把它简单当成某种 KV 头数。
Encoder-only如BERT类双向表示常用于分类、序列标注和检索表示;Decoder-only适合续写、对话、代码与统一条件生成,也能通过标签生成做分类;Encoder–Decoder如T5类结构把已知输入和目标输出分离,常用于翻译、摘要与输入到输出的转换。这是结构适配倾向,不是能力互斥:任务数据与训练目标会改变效果,不能说Encoder“只能理解”、Decoder“不能分类”。选型还要比较输入输出长度、吞吐和实际任务质量。
MHA/MQA/GQA 描述头之间的 KV 共享方式;Encoder、Decoder、Encoder–Decoder 描述网络信息流。两组分类处在不同维度。本文容量例子使用因果 Decoder 的自注意力缓存;交叉注意力的 K/V 由源序列决定,长度不随目标输出逐 token 增长,估算时应单独列项。
以八个查询头为例
MHA 有八组 K/V,查询头 0 使用 KV 组 0,依此类推。MQA 只有一组 K/V,八个查询头都访问它。GQA 取两者之间,例如两组 K/V,查询头 0–3 用第一组,4–7 用第二组。每个查询头仍有不同的 Q,因此即使读取同一组 K/V,也能得到不同的注意力分布和输出。
设批大小 B、序列长度 T、查询头数 Hq、KV 头数 Hkv、每头维度 d。在常见布局下:
Q: [B, Hq, T, d]
K: [B, Hkv, T, d]
V: [B, Hkv, T, d]
每个查询头读取自己所属 KV 组,输出仍有 Hq 个头。头的内存布局可以不同,不能只凭维度顺序判断是否采用 GQA。通常要求 Hq 能被 Hkv 整除;本例的分组函数就是这个约束。常规投影矩阵里 Wq 的输出宽度为 Hq×d,而 Wk、Wv 的输出宽度为 Hkv×d。GQA 不只是运行时把 MHA 的部分缓存删掉,它改变了学习到的投影结构。
缓存节省多少,计算又节省多少
在层数、批大小、长度、精度和每头维度相同的条件下,KV Cache 与 Hkv 成正比。32 查询头的模型,从 32 个 KV 头减到 8 个,理论 KV 缓存变为四分之一;减到 1 个则变为三十二分之一。
但注意力仍要为所有查询头计算分数,FFN、Q 投影和输出投影也还存在。所以缓存减少四倍,不能直接推导吞吐提高四倍。Decode 常受历史 KV 读取的带宽影响,GQA 有机会明显受益;真实收益取决于内核、批大小、上下文长度和硬件。若实现先把 K/V 实体复制成 Hq 个头,临时内存和流量还可能吞掉部分收益。广播视图与实体复制是不同操作。
运行头分组与容量计算
保存为 memory.py,运行 python -X utf8 memory.py。它计算的是理论 KV 容量,不读取 GPU,也不测推理速度。
"""传统全注意力 Decoder 的 KV 理论容量;不是实测显存。"""
def kv_bytes(layers, batch, length, kv_heads, head_dim, element_bytes=2):
numbers = (layers, batch, length, kv_heads, head_dim, element_bytes)
if any(type(n) is not int or n <= 0 for n in numbers):
raise ValueError('各参数必须是正整数')
return 2 * layers * batch * length * kv_heads * head_dim * element_bytes
def head_groups(query_heads, kv_heads):
if (type(query_heads) is not int or type(kv_heads) is not int
or query_heads <= 0 or kv_heads <= 0 or query_heads % kv_heads):
raise ValueError('查询头必须能均分到正数个 KV 组')
return [head // (query_heads // kv_heads) for head in range(query_heads)]
if __name__ == '__main__':
for name, heads in [('MHA', 32), ('GQA', 8), ('MQA', 1)]:
amount = kv_bytes(32, 1, 8192, heads, 128)
print(name, f'{amount / 2**30:.3f} GiB')
print('8 个 Q 头共享 2 组 KV:', head_groups(8, 2))
for batch in (1, 4):
print('GQA 批大小', batch, 'KV',
kv_bytes(32, batch, 8192, 8, 128) / 2**30, 'GiB')MHA 4.000 GiB
GQA 1.000 GiB
MQA 0.125 GiB
8 个 Q 头共享 2 组 KV: [0, 0, 0, 0, 1, 1, 1, 1]
GQA 批大小 1 KV 1.0 GiB
GQA 批大小 4 KV 4.0 GiB把 head_groups(8,2) 改成 head_groups(8,4),应得到 [0,0,1,1,2,2,3,3];改成 head_groups(8,3) 则应拒绝,因为无法均匀分组。容量计算使用 32 层、8192 个位置、每头 128 维和 2 字节元素,详细代入过程见 KV Cache 显存计算。
为什么不把所有模型都改成 MQA
更多独立 KV 头提供不同的键和值表示;极强共享可能损失质量,损失多少需要任务评测。GQA 是共享程度的折中。已有 MHA 权重转换成 GQA/MQA 时,研究方法可以聚合头并继续训练,但这不是修改配置文件就能无损完成的转换。
选型时先查看模型配置中的 attention heads 与 key-value heads,确认推理引擎支持对应结构,再在目标输入长度、并发与输出长度下测质量、首 token 延迟、每 token 延迟和吞吐。如果只对短 prompt、单请求测速,可能看不到长上下文下 KV 带宽与容量的约束。
GQA 也不等于稀疏注意力:一个查询仍可访问全部允许的历史位置,只是共享 KV 表示。它与滑动窗口、KV 量化、分页缓存可以组合,但各自解决的问题不同,组合后的容量公式和精度代价要重新核对。
综合追问:减少KV头后显存下降,为什么输出与速度不一定按比例变化?
这是给定条件下的机制推演;数值用于解释判断,不是新增线上或模型实测。先独立回答,再核对下面的推理。
展开推理、取舍与排错路径
Encoder双向建模适合理解表示,Decoder用因果掩码做自回归生成,Encoder-Decoder用交叉注意力把源序列条件传入目标生成;聊天生成常用Decoder,但分类不必为此改成逐token生成。误去掉因果掩码可能使训练借用未来答案,先做未来V扰动而非只看loss。
8个Q头、2个KV头意味着每组4个查询共享K/V,仍保留8个查询输出;MQA只留1组KV也不等于单Q头。减少KV头节省缓存与投影,却不消除FFN和所有注意力计算,可能损失表示能力。若配置改完报尺寸错,查Wk/Wv与模型训练配置;若显存没省,查是否实体repeat成8组临时张量。面试给出头映射、缓存公式和质量/内核边界,而不是保证4倍吞吐。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
8 个查询头、2 个 KV 头时,输出有几个头?
参考思路与常见误区
仍有 8 个查询头输出。前四个查询可共享一组 K/V,后四个共享另一组;查询向量不同,即使键和值相同也能得到不同权重。共享的是 KV 表示,不是强制所有查询输出相同。
常见误区:认为 GQA 输出只剩两个头。
32 个 KV 头降到 8 个,是否吞吐必然提高四倍?
参考思路与常见误区
固定其他参数,KV 数据主体降到四分之一,但查询分数、FFN、Q 投影、输出投影仍有成本。实际速度还受内核、带宽、批大小和长度影响,需要在目标负载实测。
常见误区:直接把容量比例写成端到端速度比例。
能否修改配置,把现有 MHA 模型变成 GQA?
参考思路与常见误区
不能假设无损转换。Wk、Wv 的输出尺寸及学习到的表示发生变化。转换方法可能聚合头并继续训练,仍需质量评测和引擎兼容性验证。仅改配置可能尺寸不匹配或改变语义。
常见误区:把 GQA 当作与权重无关的显存开关。
MQA 与单头注意力相同吗?GQA 与稀疏注意力相同吗?
参考思路与常见误区
MQA 共享一组 K/V,但可以保留多个 Q 头。GQA 降低 KV 头数,不必缩小每个查询可访问的位置范围;稀疏注意力则改变位置连接关系。两者可组合但不能互相替代。
常见误区:把头维度共享与序列位置稀疏混为一谈。
GQA 实现为什么要关注 repeat 的内存行为?
参考思路与常见误区
若先实体复制 K/V 到查询头数,会增加临时内存和读取流量,削弱共享的收益。广播或支持分组的内核可以避免不必要复制;应查看算子行为和实测分配,不只看模型配置。
常见误区:认为所有 repeat、expand 或广播写法的物理内存成本相同。
继续读 Prefill、Decode 与 KV Cache。GQA 的方法与实验范围见 GQA: Training Generalized Multi-Query Transformer Models from Multi-Head Checkpoints。