批处理与服务调度:吞吐、排队和尾延迟怎样一起看
用四个长短不同的请求推演静态与连续批处理,解释动态聚批、token预算、公平性与过载保护。
推理服务同时收到一个长回答请求和几个短回答请求。即使显存能装下它们,排队与调度方式也会决定短请求能否及时返回。把最大批大小调大,经常能提高设备利用率,但不保证每个用户等待更短。先区分“同一批有哪些请求”和“下一步给哪些请求计算”,才能分析这种取舍。
三种批处理改变的是哪一层
静态批处理提前形成固定批次,通常等这批全部结束,再处理下一批。短序列结束后,其槽位可能保留掩码或填充,不能立即接入新请求。离线任务输入已知、长度相近时,静态分桶容易实现,也便于复现。
动态批处理在请求入口短暂等待,把时间相近的请求聚成一批。等待窗口越长,越容易凑到较大批次,却会给低流量时的单个请求增加固定等待。它并不必然支持在一个生成批次内部插入新请求:入口动态聚批与迭代级连续调度是两件事。
连续批处理在生成迭代之间检查状态,让完成请求释放槽位,再接纳新请求。新请求还要完成 Prefill;真实引擎必须协调 Prefill 与已有 Decode 的计算及 KV 预算,而不是简单把字符串塞入空数组。不同引擎可能把动态与连续两个术语组合使用,阅读文档时应追问具体调度粒度。
四个请求逐步排一遍
容量为两个请求。A、B 在时刻0到达,分别需生成6个和1个token;C在时刻1到达,需1个;D在时刻2到达,需2个。为单独观察调度,假设所有请求已经能进入Decode,每tick每个活跃请求产出一个token,不计算Prefill或通信。
静态模式在第一步运行AB,B完成,但A还需要五步。C和D等到时刻6才能进入下一批。连续模式在第一步后释放B的槽,第二步运行AC,第三、四步运行AD。A仍在时刻6完成,但C、D明显更早返回。
把下面程序保存为 scheduler.py,在同目录运行 python -X utf8 scheduler.py。Windows也可用 py -3.13 -X utf8 scheduler.py,只需要Python标准库。
"""离散时间调度模型:一个请求每 tick 产出一个 token,无 GPU/Prefill。"""
from dataclasses import dataclass
from math import ceil
@dataclass(frozen=True)
class Job:
name: str
arrival: int
tokens: int
def simulate(jobs, continuous, slots=2):
if slots < 1 or any(j.arrival < 0 or j.tokens < 1 for j in jobs):
raise ValueError('容量、到达时间和长度不合法')
waiting = sorted(jobs, key=lambda j: (j.arrival, j.name))
active, remaining, first, end, timeline = [], {}, {}, {}, []
now = 0
while waiting or active:
# 静态批次只有全批结束才接收下一批;连续批次每步补空位。
if continuous or not active:
while len(active) < slots and waiting and waiting[0].arrival <= now:
job = waiting.pop(0)
active.append(job)
remaining[job.name] = job.tokens
running = [j for j in active if remaining[j.name] > 0]
timeline.append(''.join(j.name for j in running) or '-')
for job in running:
first.setdefault(job.name, now + 1)
remaining[job.name] -= 1
if remaining[job.name] == 0:
end[job.name] = now + 1
now += 1
if continuous:
active = [j for j in active if remaining[j.name] > 0]
elif active and all(remaining[j.name] == 0 for j in active):
active = []
latency = sorted(end[j.name] - j.arrival for j in jobs)
return {'timeline': timeline, 'first': first, 'end': end,
'elapsed': now, 'p95': latency[ceil(.95 * len(latency)) - 1]}
if __name__ == '__main__':
jobs = [Job('A', 0, 6), Job('B', 0, 1), Job('C', 1, 1), Job('D', 2, 2)]
for mode in [False, True]:
result = simulate(jobs, mode)
print('连续批处理' if mode else '静态批处理')
print('每步运行:', ' | '.join(result['timeline']))
print('首 token 等待:', {j.name: result['first'][j.name]-j.arrival for j in jobs})
print('完成时间:', result['end'])
print('吞吐:', round(sum(j.tokens for j in jobs)/result['elapsed'], 3), 'token/tick')
print('完成延迟 P95:', result['p95'], 'tick')静态批处理
每步运行: AB | A | A | A | A | A | CD | D
首 token 等待: {'A': 1, 'B': 1, 'C': 6, 'D': 5}
完成时间: {'B': 1, 'A': 6, 'C': 7, 'D': 8}
吞吐: 1.25 token/tick
完成延迟 P95: 6 tick
连续批处理
每步运行: AB | AC | AD | AD | A | A
首 token 等待: {'A': 1, 'B': 1, 'C': 1, 'D': 1}
完成时间: {'B': 1, 'C': 2, 'D': 4, 'A': 6}
吞吐: 1.667 token/tick
完成延迟 P95: 6 tick两种模式都生成10个token。静态模式用8tick,吞吐为1.25 token/tick;连续模式用6tick,吞吐约1.667。C的首token等待从6tick降到1tick。可是完成延迟P95都是6tick:样本只有4个,按nearest-rank定义,95分位落在最大值,而A的长度没有变化。吞吐更高不代表所有延迟分位必然改善。
把A的长度由6改成12,观察短请求是否继续被静态批次拖住;把C的到达时间改到10,观察连续模式也不能让尚未到达的请求提前运行。程序中的first记录首token完成的绝对时刻,必须减arrival才是等待时间,不能直接把完成时间当延迟。
请求数预算和token预算不能互相替代
两个请求可能分别有100和10000个输入token,虽然请求数相同,Prefill成本与KV容量差异很大。调度至少关注最大活跃序列数、每步可处理token数、驻留KV空间,以及输出继续增长后的余量。仅按“最多32并发”限流,可能让一批长上下文同时耗尽显存。
较大的Prefill任务可能占用一个长计算步,影响已经在流式输出的请求。分块Prefill把长输入拆成若干计算块,在调度间隙与Decode交织,能改善某些负载下的输出间隔,但新请求的首token可能需要更多轮等待。块大小、每步token预算和优先级应在真实长度分布上调参。vLLM的具体开关与默认值会随版本变更,不能把某次版本默认值当成算法定义。
把Prefill与Decode部署到不同实例可以分别扩缩容,但需要传输或共享KV,增加网络、内存及一致性成本。短请求若传输成本高于计算节省,拆分反而可能变慢。先确定瓶颈,再决定是否拆分服务。
公平不只是“按先来后到”
FCFS容易解释,但队首长任务可能推高后续短任务的等待;按估计长度优先有利于平均延迟,却可能让长任务长期饥饿。生成长度事先并不确知,客户端填写的最大输出长度也不等于实际长度。可以结合等待时间递增优先级、租户配额和分级队列,限制单一租户占满资源。
交互请求和离线批量任务的SLO不同,混用同一队列时要给出明确份额。优先级也必须在受信任的服务端决定,不能直接相信用户提交的“最高优先级”。取消和超时应及时传播到调度器并释放KV;仅关闭前端连接而继续生成,会让用户看不见的请求持续消耗资源。
过载时无限排队不是温和降级。队列长度持续增长时,服务要执行准入控制:依据可用容量拒绝、延后或转移部分请求,并返回可解释的重试策略。不要在已经拥塞的队列外再无限重试,否则会放大请求量。
用一张测量表拆开吞吐和体验
记录请求到达、进入调度、Prefill开始/结束、首token、最后token和取消时刻。由此区分排队等待、TTFT与TPOT。吞吐应说明分母是墙钟时间还是设备忙碌时间,分子是输入token、输出token还是请求数;不同口径不能直接比较。
压测需要覆盖输入/输出长度、并发、到达分布、前缀命中率和任务类别。固定并发的闭环客户端在服务变慢时会自然降低发送速率,可能掩盖真实突发负载;开放到达率测试更容易暴露过载排队,但必须限定资源和中止条件。报告P50、P95/P99之外,也列出拒绝、取消和失败比例,不能丢弃失败样本后只比较成功请求。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
动态批处理与连续批处理为什么不是同义词?
参考思路与常见误区
动态聚批通常在入口等待短窗口,把相近到达请求合成一批;连续调度在生成迭代之间释放完成请求并插入新请求。入口动态并不保证批内可替换。真实引擎还要安排新请求Prefill、已有Decode及KV预算,需说明实际调度粒度。
常见误区:看到批大小随流量变化就认定能够逐token接入新请求。
算例吞吐提高而P95仍是6,说明优化无效吗?
参考思路与常见误区
不是。C/D等待缩短,总工作在6而不是8tick完成;但四个样本按nearest-rank计算P95落到最大完成延迟,长请求A仍要6tick。需同时查看每类请求、样本量、分位定义及吞吐,不能用单个分位概括所有体验。
常见误区:把吞吐改善等同于所有分位延迟必然下降,或者用四个样本估计稳定生产P95。
限制32个并发为什么仍可能OOM?
参考思路与常见误区
并发数不体现每请求上下文长度和输出增长。KV总量与驻留token、层/头/精度相关,Prefill还需要激活及工作空间。应结合序列数、token预算、KV余量和准入控制,不能只用请求数限制资源。
常见误区:认为同样请求数必然有同样显存占用。
优先短请求有什么代价,如何避免长请求饥饿?
参考思路与常见误区
短请求优先可能改善平均等待,但持续短流量会推迟长任务,且输出长度不能精确预知。可用等待时间提升优先级、租户份额、交互/批任务分队和明确SLO平衡。优先级应由服务端核验,不能任用户自报。
常见误区:把最短任务优先当成同时优化所有用户体验的无代价方案。
为什么压测吞吐要同时报告失败、拒绝和到达模式?
参考思路与常见误区
闭环客户端在响应变慢时会自动降低发送速率,开放到达率更能暴露排队。丢弃失败请求会夸大成功样本体验。应固定长度分布与负载,明确吞吐分子分母,同时报告排队、TTFT、TPOT、尾延迟、拒绝和取消比例。
常见误区:只报设备忙碌期间最快token/s,不计排队和失败。
下一篇看 量化、分页与推理优化,区分调度改进和算子改进。引擎参数与调优边界参考 vLLM Optimization and Tuning;分页缓存与服务调度关系见 PagedAttention论文。