容量、成本与SLO:把平均请求变成可检验的服务预算
使用Little定律估算并发,拆分缓存与费用,计算请求型错误预算并解释尾延迟和容量余量。
“每天一万次调用”不足以决定服务器数量。流量是否集中在几分钟、平均和p95输入长度多大、一次Agent任务调用几次模型、是否并行、工具有多慢,都会改变在途数量与成本。容量规划先列假设,再用压测和线上测量校准,不能把一个公式当硬件性能证明。
吞吐、并发与等待时间
在稳定系统和一致统计边界下,Little定律L=λW:平均在途数等于平均到达率乘平均停留时间。20请求/秒、平均3秒,对应平均60个在途请求。若延迟变成6秒,吞吐没变,并发需求也会变成120。
假设每副本可承担50个槽位,并希望平均利用率不超过60%,可用容量每副本30,60/30=2副本;延迟翻倍后需要4。槽位50和利用率60%都是假设,必须在实际输入长度、模型批处理和工具模式下验证。尾延迟、突发流量和重试会要求额外余量,不能把均值公式直接当p99容量。
大模型服务还需看prefill、decode吞吐、KV cache占用与批处理策略;应用网关可能受连接数或上游token限额限制。找出最窄环节后再扩容,单独增加Web副本未必提升模型服务吞吐。
完整实验:容量与错误预算手算
Python 3.13执行 python -X utf8 capacity_budget.py。所有数值都是教学假设,不是本机压测、云产品规格或实时价格。
"""Little定律与请求型错误预算的代数例子,不是压测结果。"""
from math import ceil
def estimate(qps,latency_s,slots_per_replica,utilization):
if qps<0 or latency_s<0 or slots_per_replica<=0 or not 0<utilization<1:raise ValueError('invalid capacity assumptions')
concurrency=qps*latency_s
return concurrency,ceil(concurrency/(slots_per_replica*utilization))
def budget(requests,slo,bad):
allowed=requests*(1-slo)
return {'allowed_bad':round(allowed,6),'remaining':round(allowed-bad,6),'burn_ratio':round((bad/requests)/(1-slo),3)}
if __name__=='__main__':
print('20QPS×3秒;每副本50槽;目标利用率60%',estimate(20,3,50,.6))
print('延迟变6秒',estimate(20,6,50,.6))
print('百万请求99.9%目标,已坏600',budget(1_000_000,.999,600))
daily=10000;hit=.3;miss_cost=.01;hit_cost=.001
print('假设每日费用',daily*((1-hit)*miss_cost+hit*hit_cost))实际输出:
20QPS×3秒;每副本50槽;目标利用率60% (60, 2)
延迟变6秒 (120, 4)
百万请求99.9%目标,已坏600 {'allowed_bad': 1000.0, 'remaining': 400.0, 'burn_ratio': 0.6}
假设每日费用 72.99999999999999百万请求、成功率目标99.9%,允许坏请求1000;已经600则剩400。同窗口坏请求率0.0006,相对允许比例0.001的消耗速率比为0.6。这里burn_ratio用同一统计窗口计算,不是生产多窗口告警系统。若定义的是时间型可用性,预算单位会变成不可用时间,不能与请求数混算。
SLI、SLO与SLA
SLI是可测指标,例如有效请求中在2秒内完成且无错误的比例;SLO是目标与窗口,例如滚动28天达到99%;SLA是对外承诺及未达成后果。目标应面向用户体验,并说明哪些请求进入分母、超时和取消怎么处理。HTTP 200但答案不可用的请求不应自动算成功。
错误预算连接可靠性与发布节奏:消耗过快时可以暂停高风险变更、处理主要故障。预算不是允许主动伤害用户的额度;安全、数据损坏等事件不能仅靠平均成功率稀释。分层检查重要租户和任务,避免总体SLO掩盖局部长期不可用。
FinOps与缓存
假设每天一万次,30%命中缓存,命中费用0.001、未命中0.01,则总费用为10000×(0.3×0.001+0.7×0.01)=73。缓存命中率受任务分布、版本、权限和TTL影响;跨租户复用答案即使命中率高也可能泄漏。
区分语义缓存、检索缓存与提供方prompt缓存,它们复用的对象与计费方式不同。缓存键应包含影响答案的身份范围、模型/提示、知识版本和约束,并有删除失效。按租户、业务路径、成功任务和失败重试分摊费用,优化每个可靠完成任务的成本,而不仅是每token单价。
参考Google SRE服务目标与风险和错误预算。本文公式有助于准备容量假设,不能代替负载测试和故障演练。
综合边界推演与面试追问
20QPS×3秒=60平均在途,50槽/副本×60%利用率为30,需2副本;延迟6秒则需4。百万请求99.9%目标允许1000坏请求,已600剩400。日一万次、30%缓存命中、单价0.001/0.01得假设费用73。
平均容量计算不保证尾延迟或突发,扩Web副本不能突破模型token或KV瓶颈。缓存省费用但key缺权限/版本会泄漏;FinOps按成功任务计费要包含失败重试和人工。SLI是测量,SLO带目标窗口,SLA含对外后果。
高并发先拆到达率、停留时间、排队与下游限额,确认输入输出长度分布。错误预算检查分母和请求型/时间型口径,不能把HTTP200当任务成功。缓存旧答案查版本及删除失效;价格与容量都要用真实测量校准,数字不是服务承诺。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
20QPS、平均3秒,平均在途数是多少?
参考思路与常见误区
稳定系统同一统计边界下L=λW=60;延迟6秒则120。均值关系不直接保证p99或突发容量。
常见误区:QPS本身就是并发数。
每副本50槽、目标利用率60%,60在途需要几副本?
参考思路与常见误区
可用假设容量每副本30,ceil(60/30)=2;槽位和利用率假设需实际负载验证,还要考虑尾延迟与故障余量。
常见误区:算出2就证明线上两台必然够。
SLI、SLO和SLA有什么区别?
参考思路与常见误区
SLI是测量指标,SLO是带窗口的目标,SLA是对外约定及后果。应明确分母、成功定义、取消与超时处理。
常见误区:三个缩写完全等价。
百万请求99.9%目标,坏600次,剩余预算多少?
参考思路与常见误区
允许1000坏请求,剩400;同窗口错误率相对允许错误率为0.6。请求预算不能与时间型不可用预算混算。
常见误区:99.9%等于只能失败一次。
缓存命中率提升为何可能带来严重问题?
参考思路与常见误区
若缓存键忽略权限、版本或问题约束,可能跨租户泄漏或返回旧答案。要按复用对象定义键、失效和删除传播,再评价成本收益。
常见误区:命中率越高就一定越好。