Prefill、Decode 与 KV Cache:一次生成到底算了什么
逐步对比重算前缀与追加缓存,核对输出相等,理解 TTFT、TPOT 和流式响应的瓶颈。
一个请求输入 1000 个 token,要输出 100 个 token。模型通常先处理全部已知输入,再逐步生成。前一阶段叫 Prefill,后一阶段叫 Decode。它们共享模型权重,但可并行的维度和读取的数据量不同,因此服务端经常分别观察和优化。
首 token 从哪里来
Prefill 同时处理输入的各个位置,在每一层建立对应的 K/V 缓存,最后一个输入位置的输出经输出层得到下一个 token 的分布。采样或选取后,第一个生成 token 就产生了。后续 Decode 把刚生成的 token 作为新输入,产生再下一个 token。
因此生成 N 个新 token,通常需要一次 Prefill 和 N−1 次后续 Decode 前向;具体引擎也可能把采样、分块 prefill 或调度拆成更多步骤。不要机械地把输入长度和输出长度都当成相同成本的循环次数。
没有缓存时,为预测新 token 可以重新计算整个前缀,但其中绝大部分工作重复了。在标准因果 Decoder 中,旧位置不能访问未来位置,所以追加新 token 不会改变旧位置已经算好的表示。各层旧 K/V 可以复用,新位置的 Q 再去关注它们。
为什么缓存 K/V,而通常不缓存历史 Q
新位置需要历史位置的键来算匹配、历史位置的值来汇总信息;历史查询已经完成了自己的输出,不参与新位置的点积。因此自回归推理通常保存 K/V,而无需为后续 token 保存所有历史 Q。权重是跨请求共享的模型参数,KV 是随输入变化的请求状态,两者不要混淆。
缓存也没有消除全部随长度增长的工作:每次新查询仍然要读取允许访问的历史 K/V,常规稠密注意力的单步计算随历史长度增长。对逐步增长到 N 的生成过程,历史读取总体仍可能有二次增长项。缓存省掉重复计算旧位置的投影与网络前向,并不让任意长度上下文都变成常数成本。
用同一个算例比较两条路径
先把 注意力篇 的完整程序保存为 attention.py。下面程序保存为同一目录中的 kv_cache.py,运行 python -X utf8 kv_cache.py。它直接复用三个固定输入向量,比较单层注意力结果,不包含词表输出层或真实语言生成。
"""单层、固定投影验证缓存路径与全量因果计算一致。"""
from math import sqrt
from attention import X, WQ, WK, WV, matmul, softmax, attention
def step(row, keys, values):
q = matmul([row], WQ)[0]
keys.append(matmul([row], WK)[0])
values.append(matmul([row], WV)[0])
scores = [sum(a*b for a, b in zip(q, k)) / sqrt(len(q)) for k in keys]
weights = softmax(scores)
return [sum(weights[j]*values[j][d] for j in range(len(keys)))
for d in range(len(values[0]))]
if __name__ == '__main__':
keys, values = [], []
for size in range(1, len(X)+1):
prefix = X[:size]
full, _ = attention(matmul(prefix, WQ), matmul(prefix, WK), matmul(prefix, WV))
cached = step(prefix[-1], keys, values)
error = max(abs(a-b) for a, b in zip(full[-1], cached))
print(f'长度 {size};缓存位置 {len(keys)};最大误差 {error:.8f}')
print('逐次重算 K/V 的位置数', sum(range(1, len(X)+1)))
print('缓存路径计算 K/V 的位置数', len(keys))长度 1;缓存位置 1;最大误差 0.00000000
长度 2;缓存位置 2;最大误差 0.00000000
长度 3;缓存位置 3;最大误差 0.00000000
逐次重算 K/V 的位置数 6
缓存路径计算 K/V 的位置数 3重算路径分别处理长度 1、2、3,共投影 6 个位置。缓存路径每步只投影一个位置,总共 3 个。输出误差为零说明这个算例里的两条计算路径一致,不表示对真实模型已经获得两倍速度。Python 循环开销、GPU 并行、内存访问和完整网络都不在这个位置计数里。
修改第二个输入向量后,必须清空缓存并重算受影响的前缀。否则缓存里保留旧输入对应的状态,比较会失去意义。实际前缀复用还需保证模型权重、适配器、token 序列、位置和相关配置一致;相同文字经不同聊天模板编码也可能不相同。
TTFT 和 TPOT 分别告诉你什么
TTFT 是从请求开始到首 token 可见的时间,可能包含排队、网络、分词、Prefill、采样和传输。TPOT 通常描述后续每个输出 token 的平均时间,例如 (最后 token 时间−首 token 时间)/(输出 token 数−1);仅输出一个 token 时这个定义不可用。统计时要说明时间边界和聚合方式。
Prefill 可以并行处理多个已知位置,较大工作负载下往往更容易利用计算资源;Decode 每个请求一次只有少量新位置,常受到权重和 KV 读取带宽限制。但这不是所有长度和批大小下的绝对分类。动态批处理把不同请求的 Decode 合并,可提高利用率,也可能增加个别请求等待。
长 prompt 会推高首 token 等待;长输出会持续占用 Decode 资源并增加缓存。分页管理降低缓存分配碎片,连续批处理让完成请求及时退出、其他请求加入;它们并不减少用户要求生成的逻辑 token 数。服务优化要同时看排队、TTFT、TPOT、吞吐与显存,而不是只报每秒输出 token 的最好值。
缓存一致性要检查什么
缓存需要在正确请求、层、头、位置之间对应,批内重排或 beam 重排时索引也必须同步。滑动窗口淘汰旧槽后,缓存槽号与逻辑位置可能不同;RoPE 仍需正确位置。缓存量化会引入误差,不能继续要求与高精度路径逐位相同,应设合理容差并做任务质量评测。
一个实用排错顺序是:先用短输入、确定性设置比较有无缓存的 logits,再逐步增加长度、批大小和复用路径。若短输入就不一致,先查掩码、位置和缓存布局;若只有复用请求出错,再查缓存键和隔离。生产日志不应直接暴露其他用户的缓存内容。
综合追问:输入很长导致首字慢,开启缓存却偶发答错,先查哪里?
这是给定条件下的机制推演;数值用于解释判断,不是新增线上或模型实测。先独立回答,再核对下面的推理。
展开推理、取舍与排错路径
标准生成通常由Prefill最后位置产生首个新token分布,之后Decode逐步追加;生成100个token不应不加边界地算成100次Decode。历史Q服务旧位置,新的Q只需匹配缓存K并聚合V,因此通常缓存K/V。每追加位置缓存增长,单步仍要读历史KV,缓存省掉旧投影不等于成本与长度无关。
先拆排队、分词、Prefill和网络以解释TTFT,再看Decode间隔TPOT。固定短输入对比缓存与无缓存结果,查位置、mask、批重排与层头布局;修改前缀后复用错误时查token序列、模型/adapter和权限作用域缓存键。前缀复用节约重复计算,但付出缓存容量和失效治理,低复用率时不必强开。面试应给出两阶段张量职责、增长原因、缓存收益及可检验失效条件。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
生成 100 个新 token,一定需要 100 次 Decode 前向吗?
参考思路与常见误区
通常 Prefill 的最后输入位置就产生第一个新 token 的分布,随后需要 99 次 Decode 前向来产生剩余 token。引擎的分块、调度与采样步骤可能不同,必须先说明统计边界。
常见误区:忽略 Prefill 已经提供第一个 token,或把调度步数当模型前向次数。
为什么通常缓存历史 K/V 而不缓存历史 Q?
参考思路与常见误区
新位置的 Q 要与历史 K 匹配并汇总历史 V;历史 Q 已完成旧位置输出,不参与这个新查询。标准因果网络追加未来 token 不改变旧位置表示,所以旧 K/V 可复用。
常见误区:认为缓存的是固定模型参数,或所有 Transformer 场景都无条件满足同一缓存假设。
使用 KV Cache 后,单步 Decode 是否与上下文长度无关?
参考思路与常见误区
不是。旧位置投影和网络计算可省,但新查询仍需读取历史 K/V 并计算注意力,标准稠密注意力单步成本随历史长度增长。长上下文还增加缓存容量和带宽压力。
常见误区:把不重算旧位置等同于不访问旧位置。
TTFT 很高、TPOT 正常时,从哪里排查?
参考思路与常见误区
先明确计时边界,检查排队、网络、分词、输入长度和 Prefill 负载。TPOT 正常说明后续生成间隔未必是主瓶颈。应分层采集时间,不能直接认定所有延迟都来自模型计算。
常见误区:看到首 token 慢就只优化 Decode 内核。
开启前缀缓存后偶发输出错误,如何缩小范围?
参考思路与常见误区
先用确定性短输入比较有无缓存的 logits,检查掩码、位置、层与头布局;再查复用键是否包含模型、适配器、token 序列等必要条件,以及批重排和请求隔离。修改前缀后必须失效相关缓存。
常见误区:只按可见字符串做复用键,或用一次生成看起来合理作为正确性证明。
下一篇 计算 KV Cache 的显存占用。缓存机制与不同策略参考 Transformers 缓存说明。