重试与补偿:失败恢复也有成本和副作用
重试与补偿:失败恢复也有成本和副作用,结合可执行机制、故障反例与面试追问。
服务变慢时,客户端立即重试,网关再重试,工作流也重试,最终一次用户请求产生大量下游调用。重试不是免费的可靠性开关,必须结合失败类型、总预算和幂等能力。
哪些失败值得重试
临时网络错误、部分限流或服务不可用可能恢复;参数非法、权限不足、业务拒绝通常不会因原样重试而成功。超时表示结果不确定,对副作用先查询或使用稳定幂等键。还要遵守服务端Retry-After等反馈,而不是只按客户端固定间隔。
指数退避让等待上限随尝试增长,cap限制最长间隔;jitter把客户端等待分散,减少同时冲击。尝试次数、总体deadline和成本上限同时限制。三层各尝试三次可能放大为27次下游执行,应指定主要重试层或传递统一预算。
熔断器在持续故障时暂时拒绝调用,再用有限探测恢复;它减少故障扩散,但不能修复数据错误,也不应无限阻止已恢复服务。隔离线程池、连接池和队列容量,防止一个下游拖垮所有任务。
重复与乱序是正常故障条件
至少一次投递可能重复,消费者按业务键去重;消息乱序需要版本、序号或状态机约束。收到完成后又收到旧执行中消息,不应倒退状态。全局顺序昂贵时,可按业务实体分区,但跨实体依赖仍需处理。
局部事务保证同库更新,跨服务流程常采用一系列局部事务和补偿。补偿执行反向业务动作,不是数据库时间倒流;退款可能扣除手续费,已寄出的商品需要退回,已读通知无法收回。
跟做:退避与幂等补偿
保存为retry_compensation.py,运行python -X utf8 retry_compensation.py。程序只计算等待时间,不真的睡眠或访问服务;补偿是内存事件模型,不发生资金操作。
"""固定随机种子演示退避;补偿状态是业务模型而非外部退款。"""
import random
def delays(attempts,base=0.5,cap=4):
rng=random.Random(7)
return [round(rng.uniform(0,min(cap,base*2**i)),3) for i in range(attempts)]
def compensate(events):
if 'charged' not in events:return 'nothing_to_compensate'
if 'refunded' in events:return 'already_compensated'
events.append('refunded')
return 'refunded; processing_fee_not_restored'
if __name__=='__main__':
print('重试等待秒',delays(4))
events=['charged','shipment_failed']
print('补偿',compensate(events))
print('重复补偿',compensate(events))
print('事件历史',events)实际运行输出:
重试等待秒 [0.162, 0.151, 1.302, 0.29]
补偿 refunded; processing_fee_not_restored
重复补偿 already_compensated
事件历史 ['charged', 'shipment_failed', 'refunded']固定种子使等待序列可复现,但jitter不是要求每次等待递增,它在递增上限内随机选取。补偿第一次写入refunded,重复执行返回already_compensated;手续费未恢复是显式业务限制,而非隐藏成全部回滚成功。
将事件列表中的charged移除,会得到nothing_to_compensate,说明补偿依赖已发生的效果。真实流程还要记录补偿尝试、失败和重试;如果补偿也失败,应进入可追踪的待处理状态,而不是把原任务标记完全恢复。
面试设计题怎么说清一致性
先列出每一步的提交边界和失败窗口,再说明去重键、状态查询、重试层与补偿动作。最后补上对账与人工介入:自动流程无法永远消除不确定性,需要能发现记录与外部事实不一致。不要仅用“最终一致”四个字代替收敛条件和异常处理。
综合追问:三层重试和补偿同时启用,为什么系统更不稳定?
这是给定条件下的机制推演;数值用于解释判断,不是新增线上或模型实测。先独立回答,再核对下面的推理。
展开推理、取舍与排错路径
三层各最多3次尝试,最坏27次下游调用;统一重试预算与主要责任层,参数/权限拒绝不能原样重试。指数上限加jitter分散冲击,不保证每次采样等待递增;熔断在持续故障时拒绝并有限探测,恢复过早可能再冲垮服务,恢复过慢则损失可用性。
重复投递用业务键去重,乱序用版本/状态机约束,二者不是同一问题。单库事务包住本地记录,跨服务用局部提交、状态查询、可靠投递和补偿形成收敛;补偿是新动作,有手续费、不可逆通知或再次失败。排错画出每个提交窗口和外部事实,保存补偿尝试与待对账状态,不能因发起退款就标全部恢复。面试给出收敛条件、预算上限和人工介入门槛,别只说最终一致。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
重试为什么可能放大故障?
参考思路与常见误区
增加故障下游负载,多层重试还会乘法放大,需统一预算和主要重试层。
常见误区:重试越多越可靠。
jitter是否每次等待都更久?
参考思路与常见误区
不一定,随机等待在增长上限内分散;增长的是上限而非每个采样值。
常见误区:把随机退避当严格递增序列。
补偿为什么不能完全回原状?
参考思路与常见误区
它是新的业务操作,时间、费用与外部可见影响可能不可逆且补偿也会失败。
常见误区:补偿等于事务回滚。
重复投递与乱序分别处理什么?
参考思路与常见误区
重复靠业务身份去重,乱序靠版本或状态转换约束,二者不能互相替代。
常见误区:只要有队列就有全局正确顺序。
最终一致需要哪些具体保证?
参考思路与常见误区
明确提交边界、收敛动作、重试与补偿条件、对账检测和无法自动恢复时的处理。
常见误区:只说最终会一致。
进一步阅读:官方资料1。