模型调用容错:重试预算、未知结果与幂等执行
把连接失败、首事件超时、限流和提交后丢响应分开处理,用退避计划和SQLite事务验证重放边界。
“请求超时了”没有说明服务端是否已经处理。连接未建立、等待首token太久、生成中断、业务工具提交成功后响应丢失,恢复方式都不同。尤其是带副作用的工具,盲目重发可能把一次扣款变成两次;即使只是模型生成,重复请求也可能产生重复计费。
先给每个阶段分配时间边界
连接超时衡量建立连接的等待,连接池等待超时发生在拿不到可复用连接时,读取超时可能指某次读取或两段数据之间的空闲时间。首事件超时关心TTFT;整个任务还需要一个从入口开始计算的绝对期限。不同HTTP库对timeout参数语义不同,不能看到一个60秒参数就认定所有阶段总共不超过60秒。
每次进入下游时计算剩余时间,而不是重新获得完整超时。重试退避、模型调用、工具执行和结果校验都要消耗同一预算。持续心跳可能让读取空闲超时不触发,但任务仍应受总期限限制。
哪些错误有机会通过重试恢复
临时连接故障、部分5xx和限流可能值得重试,前提是请求具有可重放语义且还有预算。400参数错误、401凭据错误、上下文超限、明确权限拒绝,通常先修正输入或配置,而不是马上重发。429也可能来自不同维度的限制,长期额度耗尽与短期速率过高的处理不同,应读取错误码与服务端说明。
退避常采用指数上限与随机抖动,例如第k次重试等待uniform(0,min(cap,base×2^k))。抖动避免大量客户端在同一时刻再次冲击。若服务端提供Retry-After,应按文档解释秒数或HTTP日期,并结合总期限决定等待还是失败返回。不要为了赶期限而提前突破服务端要求的等待。
最大尝试次数要包含首次调用,费用预算也要计算失败尝试。失败请求仍可能消耗速率额度,甚至已经产生模型计算费用。SDK内部有重试时,应用外层再套重试会成倍放大次数;明确哪一层负责策略,记录每次attempt与根request ID。
用实际SQLite提交验证幂等重放
下面前半段只生成虚拟时间的退避计划,不真实sleep或请求供应商;后半段执行真实SQLite事务。假定第一次扣款已经提交但响应丢失,再用同一owner和key重放。请求摘要绑定金额,同一key换金额会拒绝。
保存为reliability.py,运行python -X utf8 reliability.py。数据库在进程内存中,运行结束消失;它演示同一存活进程中的事务行为,不是跨进程崩溃恢复的持久化证明。
"""退避计划为虚拟时间;SQLite幂等事务为实际本地执行。"""
import hashlib
import json
import random
import sqlite3
def retry_delays(statuses, deadline, seed=7):
clock=0.0;plan=[];rng=random.Random(seed)
for index,status in enumerate(statuses):
if status==200:return plan,'成功'
if status not in (429,502,503,504):return plan,'不重试'
if index>=2:return plan,'尝试次数耗尽'
delay=rng.uniform(0,min(4.0,.5*2**index))
if clock+delay>=deadline:return plan,'总期限耗尽'
clock+=delay;plan.append(round(delay,3))
return plan,'没有后续响应'
def initialize(db):
db.executescript('CREATE TABLE balance(owner TEXT PRIMARY KEY, cents INTEGER);'
'INSERT INTO balance VALUES("alice",5000);'
'CREATE TABLE requests(owner TEXT, key TEXT, digest TEXT, result INTEGER,'
'PRIMARY KEY(owner,key));')
def debit(db,owner,key,amount):
if type(amount) is not int or amount<=0:raise ValueError('金额不合法')
digest=hashlib.sha256(json.dumps({'amount':amount},sort_keys=True).encode()).hexdigest()
db.execute('BEGIN IMMEDIATE')
try:
old=db.execute('SELECT digest,result FROM requests WHERE owner=? AND key=?',(owner,key)).fetchone()
if old:
if old[0]!=digest:raise ValueError('同幂等键的参数发生变化')
db.commit();return old[1]
row=db.execute('SELECT cents FROM balance WHERE owner=?',(owner,)).fetchone()
if row is None or row[0]<amount:raise ValueError('账户或余额不满足条件')
result=row[0]-amount
db.execute('UPDATE balance SET cents=? WHERE owner=?',(result,owner))
db.execute('INSERT INTO requests VALUES(?,?,?,?)',(owner,key,digest,result))
db.commit();return result
except Exception:
db.rollback();raise
if __name__=='__main__':
print('503→429→200:',retry_delays([503,429,200],2))
print('400:',retry_delays([400,200],2))
print('期限0.01:',retry_delays([503,200],.01))
with sqlite3.connect(':memory:',isolation_level=None) as db:
initialize(db)
debit(db,'alice','req-1',1200)
print('假定提交后的响应丢失,同键重放:',debit(db,'alice','req-1',1200))
try:debit(db,'alice','req-1',1300)
except ValueError as exc:print('拒绝:',exc)
print('实际扣款次数:',db.execute('SELECT COUNT(*) FROM requests').fetchone()[0])503→429→200: ([0.162, 0.151], '成功')
400: ([], '不重试')
期限0.01: ([], '总期限耗尽')
假定提交后的响应丢失,同键重放: 3800
拒绝: 同幂等键的参数发生变化
实际扣款次数: 1余额只从5000降到3800一次,重放返回已保存的结果。余额更新和幂等结果写入在同一事务中,避免“业务做了但去重记录没写”的窗口。BEGIN IMMEDIATE用于此SQLite演示中的写事务协调;其他数据库应采用对应事务/锁或原子条件语义,不能照搬名称。
把第二次重放的key改成req-2,系统会视为新操作再次扣款,这说明客户端或编排器必须在同一业务操作的重试中复用稳定key。把金额改成1300而key不变,应拒绝冲突,不能直接返回旧结果并假装新请求成功。owner必须来自可信身份,而不是模型参数。
模型请求的幂等与业务工具的幂等分开看
某个模型API是否支持幂等键、去重多久、是否影响账单,必须查具体接口契约。随便加一个Idempotency-Key头不保证服务器理解。即使模型API没有去重支持,应用仍可为已经完成的业务工具建立自己的持久化执行账本,避免重复副作用。
本地数据库事务无法单独保证外部支付系统与本地记录同时提交。跨系统需要使用对方支持的幂等键、结果查询、事务发件箱等设计处理未知结果;发生超时后先查询执行状态,避免把“没有收到确认”当成“肯定没执行”。这里的内存数据库也没有做真实断电测试,不能宣称全局exactly-once。
回退与熔断不是无限重试的另一种写法
连续失败时熔断器暂时停止向故障依赖发新请求,经过等待后以少量探测判断是否恢复。它保护资源,不直接修复错误;错误分类和分供应商状态也要准确。回退模型必须满足相同数据边界及必要能力,且共享剩余期限和成本预算。
用户已经收到一段流式输出时换模型,需要产品和协议定义:丢弃旧片段重来、标注中断,还是从可信状态继续。不能静默把两个独立模型的半句拼成一个看似连续且一致的答案。已有工具副作用更不能因为回退而重做。
排错记录应包括根请求ID、尝试序号、供应商请求ID、失败阶段、已发送/已收到状态、等待时间和预算剩余。不要把密钥和完整敏感prompt塞进日志。用这些证据区分“服务器拥塞”“客户端超时太短”“重试风暴”和“业务结果未知”,再调整策略。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
设置读取超时60秒是否保证整个任务不超过60秒?
参考思路与常见误区
取决于库语义,可能只是单次读取或数据间隔。还需连接/池等待/首事件与入口绝对期限,重试退避和工具执行消耗同一剩余预算。心跳不能无限延长总任务期限。
常见误区:每层重新设置完整60秒,导致总时长倍增。
400、401、429、503应采用同一重试策略吗?
参考思路与常见误区
400/401通常要修输入或凭据;429需识别速率与额度原因并遵守服务端等待;临时503可能退避重试。还要检查可重放语义、期限与费用,避免SDK和应用重试相乘。
常见误区:只要非200就固定重试三次。
为什么退避需要随机抖动?Retry-After超过期限怎么办?
参考思路与常见误区
抖动打散大量客户端同步重试,减轻恢复时的请求峰值。服务端要求等待超过剩余期限时,应结束或按产品流程延后,不能为赶期限提前重发。退避有上限且总尝试次数有限。
常见误区:所有客户端同一指数时间点重试,或忽略服务端等待要求。
提交成功但响应丢失,同幂等键重放为什么不重复扣款?
参考思路与常见误区
示例在同一SQLite事务内写余额和owner/key/参数摘要/结果。重放查到相同摘要直接返回原结果;同键不同参数拒绝。key须在同一业务操作重试中稳定,owner来自可信身份。
常见误区:每次重试生成新key,或业务更新与去重记录分两个不一致事务。
本地SQLite幂等示例能证明外部支付exactly-once吗?
参考思路与常见误区
不能。本地事务无法同时原子提交外部系统,内存库也不证明重启持久性。外部调用需其幂等契约、状态查询或事务发件箱等机制处理未知结果;模型API是否去重与工具幂等另行验证。
常见误区:随意加Idempotency-Key头就宣称所有服务自动去重。
参考 HTTP语义、SQLite事务与模型API限流说明。下一篇看 配置、凭据与能力适配。