KV Cache 显存计算:从一个元素算到并发预算
逐项代入 KV 容量公式,区分权重、缓存、工作空间,以及分页、量化和并行部署的边界。
模型权重能装进显卡,不代表服务能承受目标长度和并发。每个请求还会留下随序列长度增长的 KV Cache。做容量估算时,先从每层每个 token 的键和值开始,避免把“模型参数量”和“上下文占用”混在一起。
推导公式,而不是背一个乘积
设模型有 L 层,每层 Hkv 个 KV 头,每头 d 维,每个缓存元素占 s 字节。一个 token 在一层保存一个 K 和一个 V,所以需要 2×Hkv×d×s 字节。保存 T 个 token、B 条等长序列,再乘层数:
KV 字节数 = 2 × L × B × T × Hkv × d × s
不等长请求 = 2 × L × Hkv × d × s × Σ(T_i)这里的 2 是 K 和 V,不是 FP16;FP16/BF16 的每元素 2 字节体现在 s。Hkv 也不一定等于查询头数。公式对应各层相同结构、完整保留历史 K/V 的常见 Decoder;混合层、滑动窗口、压缩潜变量缓存等结构要按实际保存的张量重新计算。
把 32 层 GQA 模型算到字节
取 L=32、B=1、T=8192、Hkv=8、d=128、s=2。每 token 的全部层缓存为 2×32×8×128×2 = 131072 字节,即 128 KiB。8192 个 token 共 1073741824 字节,恰好 1 GiB。这里 GiB 是 2³⁰ 字节,GB 是 10⁹ 字节,两者不能混用。
同样条件下,MHA 使用 32 个 KV 头,需要 4 GiB;MQA 使用 1 个 KV 头,需要 0.125 GiB。批大小变为 4,GQA 变为 4 GiB。输入8192 token并为后续1024个输出位置全部预留,容量预算按9216位置计算,为1.125 GiB。标准循环最后一个已采样token若尚未再次送入模型,其K/V可能尚未缓存,因此结束瞬间实际已填槽数可少1;此处计算预留上界,不把它当每个引擎的精确驻留测量。
运行容量计算器
保存为 memory.py,运行 python -X utf8 memory.py。如果已经做过 GQA 篇,直接使用同一个文件即可。
"""传统全注意力 Decoder 的 KV 理论容量;不是实测显存。"""
def kv_bytes(layers, batch, length, kv_heads, head_dim, element_bytes=2):
numbers = (layers, batch, length, kv_heads, head_dim, element_bytes)
if any(type(n) is not int or n <= 0 for n in numbers):
raise ValueError('各参数必须是正整数')
return 2 * layers * batch * length * kv_heads * head_dim * element_bytes
def head_groups(query_heads, kv_heads):
if (type(query_heads) is not int or type(kv_heads) is not int
or query_heads <= 0 or kv_heads <= 0 or query_heads % kv_heads):
raise ValueError('查询头必须能均分到正数个 KV 组')
return [head // (query_heads // kv_heads) for head in range(query_heads)]
if __name__ == '__main__':
for name, heads in [('MHA', 32), ('GQA', 8), ('MQA', 1)]:
amount = kv_bytes(32, 1, 8192, heads, 128)
print(name, f'{amount / 2**30:.3f} GiB')
print('8 个 Q 头共享 2 组 KV:', head_groups(8, 2))
for batch in (1, 4):
print('GQA 批大小', batch, 'KV',
kv_bytes(32, batch, 8192, 8, 128) / 2**30, 'GiB')MHA 4.000 GiB
GQA 1.000 GiB
MQA 0.125 GiB
8 个 Q 头共享 2 组 KV: [0, 0, 0, 0, 1, 1, 1, 1]
GQA 批大小 1 KV 1.0 GiB
GQA 批大小 4 KV 4.0 GiB把长度改成 9216,确认上面的 1.125 GiB。再将 element_bytes=1,理论数据主体减半,但实际低精度 KV 还可能需要缩放参数、对齐和额外工作空间,不能据此宣称服务总显存减半。模型权重量化与 KV 量化是不同配置;4 bit 权重模型仍可能使用 16 bit KV。
从容量估算走到服务预算
假设在扣除权重、工作空间及安全余量后,确实还有 6 GiB 可分配给 KV。按照本例 128 KiB/token,理论上可容纳 49152 个总驻留 token。若每个请求预留 9216 个 token,可容纳 5 个这样的完整请求,剩余空间不足以接纳第 6 个。这个数字是指定假设下的容量上界,不是实测稳定并发。
真实服务还涉及分配块大小、碎片、CUDA 图、激活、通信缓冲和引擎保留空间。静态缓存可能提前按最大长度分配;动态缓存按使用增长;分页缓存按块分配,最后一块可能未填满。共享前缀可以减少物理重复,但分叉后的尾部仍独立增长,还要满足缓存一致性和访问隔离。
张量并行也不能无条件把总 KV 除以设备数。KV 头可能分片,也可能因为头数少或内核布局而复制;流水线并行则让不同层驻留不同设备。每卡容量应根据该卡实际持有的层和头计算,再加本卡其他开销。直接套“总显存除以 GPU 数”容易漏掉复制项。
OOM 时怎么判断该改哪一项
若加载权重时就失败,先看权重精度、模型规模和加载峰值;若短请求成功,长上下文或高并发失败,重点检查 KV、激活和请求调度。降低最大并发或长度通常能直接减少 KV;缩短输出上限限制后续增长。GQA 是模型结构选择,不能对现有权重随意改一个头数。
KV 量化、CPU 卸载或滑窗都可能降低 GPU 压力,但分别引入精度、传输延迟或可访问上下文范围的代价。比较方案时保留相同任务集和延迟约束,记录峰值显存、吞吐、尾延迟以及质量。公式帮助定位瓶颈,实际服务测量负责确认可用容量。
综合追问:4bit模型仍然OOM,为什么不能只换更低权重精度?
这是给定条件下的机制推演;数值用于解释判断,不是新增线上或模型实测。先独立回答,再核对下面的推理。
展开推理、取舍与排错路径
权重、激活/工作区和KV是不同内存项。32层、8个KV头、128维、FP16,每token两份K/V共128KiB;8192输入是1GiB,按额外1024输出位置预留时容量为1.125GiB。权重4bit不代表KV4bit,KV量化还增加缩放元数据与误差;精度选择要核对模型与引擎支持和任务质量。
等长batch乘B,不等长请求按实际驻留长度求和,并计块对齐/碎片/预分配。已有6GiB纯KV预算时理论可容纳5个9216长度请求,不是整卡6GiB就能接5个;先扣权重、工作区及安全余量。OOM排查按空载基线、输入长度、并发和输出增长逐项改变,识别是权重放不下还是运行中缓存爆满。多卡还按实际层头分片或复制算,不能默认总量除卡数。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
32 层、8 个 KV 头、128 维、FP16,每 token KV 多大?
参考思路与常见误区
K/V 两份乘 32 层乘 8 头乘 128 维乘 2 字节,得到 131072 字节即 128 KiB。8192 token 为 1 GiB。K/V 的因子 2 和每元素字节数是两个独立因素。
常见误区:漏掉 K 或 V,或者已经乘了 FP16 字节后错误省掉 K/V 的 2。
8192 输入加 1024 输出,缓存仍是 1 GiB 吗?
参考思路与常见误区
按该例全历史保留,长度变为 9216,理论 KV 为 1.125 GiB。请求准入要为输出增长留空间;不等长请求应按驻留长度总和计算,并考虑分块和预分配。
常见误区:只按输入长度预算所有后续阶段。
4 bit 权重模型的 KV 也一定是 4 bit 吗?
参考思路与常见误区
不一定。权重与 KV 是不同张量,精度分别配置。KV 量化还可能有缩放元数据和额外工作空间,数据主体的字节比例不能直接代表总显存下降比例。
常见误区:用权重量化位数直接代入 KV 元素字节数。
还有 6 GiB KV 预算,每请求预留 9216 token,本例能放几个?
参考思路与常见误区
每 token 128 KiB,总容量 49152 token,除以 9216 向下取整为 5。前提是这 6 GiB 已扣除其他开销;碎片、对齐、静态分配和调度策略会使实际容量不同。
常见误区:向上取整为 6,或把整卡显存都当 KV 可用预算。
部署到四张卡,单卡 KV 能直接除以四吗?
参考思路与常见误区
要看实际分片。张量并行可能按 KV 头分片,也可能复制;流水线并行按层分配。应按每卡保存的层、头、位置及元素精度计算,并加入通信和其他开销。
常见误区:无条件用总理论容量除 GPU 数,忽略复制与不均匀布局。
相关机制见 Transformers 缓存说明 与 GQA 论文。完成这一组后,可回到 学习路径 继续查看推理服务、检索和 Agent 的学习目标。