量化、分页、FlashAttention与推测解码:分别省掉什么
从量化误差、缓存尾块和草稿接受流程出发,辨别显存、访存、算力和串行生成步骤的不同瓶颈。
“开了某种加速就会更快”缺少一个关键条件:原来的时间花在哪里。权重装不下、KV碎片太多、注意力中间矩阵访存昂贵、逐token生成串行等待,分别需要不同方案。有些技术能组合,但收益不会自动相乘,新增转换、元数据和通信也可能成为新瓶颈。
INT8与INT4先改变数据表示
用较少比特近似浮点数,通常需要尺度scale,有时还需要零点zero-point。对称量化可写成 q=clip(round(x/s), qmin, qmax),反量化近似为 x≈s×q。非对称方案还包含零点偏移。INT8并不是把浮点数的小数部分直接删掉;尺度决定整数每一格代表多大的实数区间。
下面采用对称、按整个数组共用scale的演示:INT8使用−127到127,INT4使用−7到7,留出最小负数槽位以保持对称。对数组[-1,-0.3,0.2,0.9],scale等于最大绝对值除以正上限。INT4的网格更粗,因此最大重建误差更大。真实量化还需处理分组、异常值、激活分布与校准数据。
每张量一个scale实现简单,遇到少数极大异常值时,大量小值可能被压到同一格;按通道或按组设置scale能提高局部精度,但增加元数据与算子复杂度。后训练量化使用已训练权重和校准信息,量化感知训练则让训练过程考虑量化影响,两者成本与适用条件不同。
权重量化主要减少模型参数存储及读取;KV量化降低随请求增长的缓存占用;激活量化影响中间运算的数据表示。W4A16通常表达4bit权重与16bit激活,不能据此推断KV也是4bit。8bit或4bit数据可能被打包存储,执行时按块解包/反量化;是否提速取决于设备内核支持,而不仅取决于文件大小。
分页管理解决缓存如何放,不改变逻辑长度
如果每个请求按最大长度预留一大块连续KV,短请求会浪费预留空间;生成长度变化还会造成分配与搬移困难。分页方案把逻辑位置分成固定大小的块,再通过块表映射到物理存储,不要求整段KV连续。读取注意力时,内核依据映射访问对应块。
块大小为4时,长度5、8、2的三个请求分别占8、8、4个位置,总分配20,实际使用15,尾块空位5。块大小为8时,总分配24,空位9。较小块降低尾块浪费,却可能增加块表、分配管理与访存开销,不能只追求块越小越好。
前缀共享可以让多个请求引用相同的已计算块;分支写入时需维护引用计数、内容一致性和必要的写时复制。共享条件不只是自然语言文本相同,还包括token序列、模型、位置和适配器等影响KV的配置。分页不保证KV总需求下降,也不是压缩或移除历史token的算法。
FlashAttention改变中间结果的读写路径
朴素实现可能把QK分数矩阵和softmax概率矩阵写入显存,再读回来乘V。FlashAttention通过分块,在片上更快的存储中计算局部结果,并用在线softmax合并,减少大中间矩阵在高带宽显存中的往返。它针对IO组织的改进,不等于把稠密注意力改成只看少数位置。
合并softmax块时,必须维护累计最大值m、归一化因子l和加权输出。若新块的最大值更大,旧累计量需要按exp(m_old−m_new)重新缩放,再与新块合并;不能对每块分别softmax后直接平均,因为每块的分母不同。该机制保持数学上的精确注意力定义,但浮点顺序不同可能产生细微数值差异。
是否受益还取决于序列长度、头维度、设备和掩码等支持条件。注意力矩阵少写显存,不代表FFN、投影、KV或全部激活都消失;也不意味着一般稠密注意力的全部配对计算从二次变成线性。
推测解码先提议,再由目标模型验证
较便宜的草稿模型先提出几个候选token,目标模型对这段候选前缀批量计算条件分布。贪心模式可以逐位置比较候选是否等于目标argmax:连续匹配的前缀可接受,遇到第一个不匹配就采用目标token,并丢弃该位置以后的草稿。后面的目标分布是以错误草稿前缀为条件算出的,不能继续使用。
如果全部草稿都匹配,验证计算还可给出额外下一个位置的预测。随机采样时则不能简单比较argmax或“看起来差不多”:经典算法使用目标分布p、草稿分布q的接受概率与拒绝后的残差分布校正,才有保持目标采样分布的性质。只保留高置信度候选并随意补采样,不具备这个保证。
收益取决于接受率、草稿生成成本、验证开销和目标模型能利用的并行度。草稿过长、领域不匹配或批次已经很满,都可能使推测解码变慢;草稿模型还会占用内存。应测端到端延迟与质量/分布一致性,而非只报“每轮接受几个token”。
随机推测采样可把候选x的接受概率写成min(1,p(x)/q(x)),其中x先从草稿分布q采样。拒绝时改从归一化的max(0,p−q)残差分布采样,再丢弃之后依赖错误前缀的草稿。例如二元分布p=[0.8,0.2]、q=[0.5,0.5],草稿提出第一项总接受,提出第二项以0.4接受;拒绝质量为0.3并全部补到第一项,最终第一项概率0.5+0.3=0.8,第二项为0.2。这个算例说明为何不能拒绝后随意按p再采样;实际实现还要处理零概率、数值误差和验证后的额外token。
FlashAttention在线合并也可手算:第一块logits为[0,0]、V为[1,3],m=0、l=2、未归一化加权和u=4;第二块logit=ln2、V=5,新m=ln2,旧量乘exp(−ln2)=0.5,因此新l=2×0.5+1=2,新u=4×0.5+5=7,输出3.5。直接把两块各自softmax输出2与5平均也得到3.5只是这个等权总质量算例的巧合;若第二块logit改为ln4,正确结果为(1+3+4×5)/6=4,而两块结果的简单平均仍为3.5,暴露了丢失分母的错误。
用三个小计算区分三种收益
保存为 optimization.py,运行 python -X utf8 optimization.py。这里的数字是实际执行的数值/分配/序列逻辑结果,没有调用GPU。推测部分提供的是固定目标预测,验证贪心前缀接受规则,不是完整推理引擎。
"""量化误差、分页尾块与贪心草稿校验的算例;不模拟 GPU 速度。"""
from math import ceil
def quantize(values, bits):
if bits not in (4, 8) or not values:
raise ValueError('仅演示非空数组的 INT4/INT8 对称量化')
limit = 2**(bits-1)-1
scale = max(abs(v) for v in values)/limit or 1.0
encoded = [max(-limit, min(limit, round(v/scale))) for v in values]
decoded = [q*scale for q in encoded]
return encoded, decoded, max(abs(a-b) for a,b in zip(values,decoded))
def page_capacity(lengths, block_size):
if block_size < 1 or any(n < 0 for n in lengths):
raise ValueError('长度须非负,块大小须为正')
allocated = sum(ceil(n/block_size)*block_size for n in lengths)
return allocated, allocated-sum(lengths)
def accept_greedy(draft, target):
"""target 是目标模型沿草稿前缀给出的 argmax,非随机采样校正。"""
if len(target) != len(draft)+1:
raise ValueError('目标需为每个草稿位置及额外下一位置提供预测')
output = []
for index, token in enumerate(draft):
if token != target[index]:
return output+[target[index]], index
output.append(token)
return output+[target[-1]], len(draft)
if __name__ == '__main__':
weights = [-1., -.3, .2, .9]
for bits in (8, 4):
encoded, decoded, error = quantize(weights, bits)
print(f'INT{bits} 编码 {encoded},最大误差 {error:.6f}')
for block in (4, 8):
capacity, waste = page_capacity([5, 8, 2], block)
print(f'块大小 {block}:实际 15,分配 {capacity},尾块空位 {waste}')
for draft in ([3, 4, 9], [3, 4, 5]):
output, accepted = accept_greedy(draft, [3, 4, 5, 6])
print('草稿', draft, '接受数', accepted, '本轮输出', output)INT8 编码 [-127, -38, 25, 114],最大误差 0.003150
INT4 编码 [-7, -2, 1, 6],最大误差 0.057143
块大小 4:实际 15,分配 20,尾块空位 5
块大小 8:实际 15,分配 24,尾块空位 9
草稿 [3, 4, 9] 接受数 2 本轮输出 [3, 4, 5]
草稿 [3, 4, 5] 接受数 3 本轮输出 [3, 4, 5, 6]把权重数组追加一个20,再比较0.2的重建值,观察全数组共用scale如何受异常值影响。把块大小改成1,只能证明此算例没有尾块空位,不能证明真实内核最快。把草稿第二项改为9,本轮应该只保留第一个匹配token并补目标第二项,不能保留后面碰巧相等的值。
怎么制定优化实验
先固定模型、任务集、输出策略、输入/输出长度分布和硬件,记录未优化基线。每次只改一个主要因素,测峰值显存、TTFT、TPOT、吞吐、失败率和质量回归。量化需要关注数字、罕见词、长上下文和工具参数等任务;分页关注驻留token与碎片;FlashAttention关注算子与内存剖析;推测解码关注接受率、草稿成本和目标轮次。
最后再组合方案。先后顺序会改变瓶颈:量化使权重读取变快后,KV读取可能占比更高;连续批处理填满设备后,推测验证未必还有足够空闲算力。不要把几篇论文在不同设备上的倍数相乘,作为自己的部署承诺。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
INT4模型文件小于FP16,为什么端到端推理未必更快?
参考思路与常见误区
量化降低数据主体字节,但有尺度元数据、解包或反量化成本,设备未必有高效对应内核。若瓶颈已在KV、网络或调度,权重量化收益有限;还需质量回归。W4A16描述权重和激活,不能推断KV精度。
常见误区:把参数位宽比例直接换算成速度倍数或全服务显存比例。
长度5、8、2,分页块大小4和8分别浪费多少槽位?
参考思路与常见误区
块4分别分配8、8、4,共20,实际15,空位5;块8分别分配8、8、8,共24,空位9。更小块减少尾块浪费,但增加映射与管理开销。分页改变物理分配,不消除逻辑历史KV。
常见误区:认为分页没有任何碎片,或直接认为块越小性能越好。
FlashAttention为什么不能把每块softmax结果直接平均?
参考思路与常见误区
不同块的分母和最大值不同。在线合并需要维护全局最大值、归一化和加权累计量,新最大值变化时重标定旧累计量。算法减少中间矩阵的显存往返,保留稠密注意力定义,不等于一般性消除二次配对计算。
常见误区:把IO优化当稀疏注意力,或忽略跨块归一化。
草稿第二个token不匹配,但第三个碰巧匹配,能否保留第三个?
参考思路与常见误区
不能。目标对第三位置的预测以草稿第二token为条件,第二token被替换后该条件失效。贪心校验接受连续匹配前缀,遇首错补目标预测并丢弃后续草稿;下一轮应从已接受的真实前缀重算。
常见误区:独立比较每个位置,留下所有碰巧相等的token。
随机采样的推测解码为什么不能只接受目标模型最喜欢的草稿?
参考思路与常见误区
保持目标分布需要正确接受概率和拒绝后的分布校正,经典方法依赖目标p与草稿q。仅比较argmax或置信阈值会改变采样分布。速度还受草稿成本、接受率、验证批次和可用算力影响,应测端到端而非只数接受token。
常见误区:把贪心一致性演示当成随机采样分布等价证明。
原始机制参考 PagedAttention、FlashAttention、Speculative Decoding。下一篇进入 本地服务与运行后端。