长任务与背压:租约过期后谁还能提交
长任务与背压:租约过期后谁还能提交,结合可执行机制、故障反例与面试追问。
worker A处理任务时卡住,租约到期后worker B接手;A随后恢复。如果两者都能提交结果,就可能重复写入。租约用于决定当前谁应工作,fencing令牌用于让实际写入目标拒绝旧执行者,两者需要一起考虑。
队列、准入与背压
队列把请求接收与处理解耦,但容量不是无限的。持续到达率高于处理率会让等待时间不断增长,应限制队列长度、并发和单位时间入口,并向上游返回可理解的忙碌或重试信息。只增加worker可能压垮模型配额、数据库或外部工具。
观察排队时长、任务年龄、处理时间、失败重试和积压趋势;仅看队列长度可能忽略少数极慢任务。优先级队列还要防低优先级饥饿,按租户公平分配资源。任务预算包含排队和执行,不能排队十分钟后重新获得无限执行时间。
租约、心跳与fencing
领取任务时记录owner、到期时间和递增token,worker定期续租。到期只表示允许其他worker接管,旧worker可能仍在运行。真正的存储或执行端必须比较token拒绝旧请求;如果只在调度器内检查,而远端付款不识别token,仍需业务幂等等机制保护。
持久任务状态区分queued、working、waiting、completed、failed与canceled等业务语义,记录检查点和结果引用。重启后扫描过期租约和未决操作,重新确认外部结果;不要仅按进程是否存在判断业务完成。
跟做:旧worker和取消后的提交被拒绝
保存为lease_queue.py,运行python -X utf8 lease_queue.py。时间是人工整数,状态在内存中;程序演示接管与提交门槛,不是分布式锁或真实队列服务。
"""显式时钟与fencing令牌,模拟旧worker恢复后的拒绝。"""
class Job:
def __init__(self):self.token=0;self.until=0;self.state='queued'
def claim(self,now,ttl):
if self.state in {'completed','canceled'}:raise ValueError('terminal')
if self.until>now:raise ValueError('leased')
self.token+=1;self.until=now+ttl;self.state='working';return self.token
def finish(self,token,now):
if self.state!='working' or token!=self.token or now>=self.until:return False
self.state='completed';return True
def cancel(self):self.state='canceled';self.token+=1
if __name__=='__main__':
job=Job();old=job.claim(0,10);new=job.claim(11,10)
print('旧worker提交',job.finish(old,12))
print('新worker提交',job.finish(new,12))
canceled=Job();token=canceled.claim(0,10);canceled.cancel()
print('取消后提交',canceled.finish(token,2))实际运行输出:
旧worker提交 False
新worker提交 True
取消后提交 FalseA得到token1,时间11超过原租约10后B得到token2;A在时间12提交失败,B成功。取消会使任务终止并提升token,旧提交也失败。把新worker提交时间改为21,会因租约到期被拒绝。
取消、降级与恢复
取消请求应先持久记录,再让worker在安全点检查并释放资源;外部副作用可能已完成,需查询和补偿。API返回“已接收取消”不等于所有工作都停止。状态和UI应区分请求取消、停止确认与部分效果已发生。
降级可以减少候选检索、使用缓存或转人工,但要说明质量与时效变化,不能用陈旧结果伪装实时答案。长任务保存进度是为了恢复有价值的工作,不是保留不可验证的“完成百分比”。最终用实际产物、持久状态和操作记录核对结果。
综合追问:旧worker恢复、队列积压、用户取消同时发生,先保证什么?
这是给定条件下的机制推演;数值用于解释判断,不是新增线上或模型实测。先独立回答,再核对下面的推理。
展开推理、取舍与排错路径
队列按处理能力缓冲,入口限流和并发上限共同施加背压;到达长期高于处理会积压,扩worker也可能先耗尽模型配额。用任务年龄、排队时长和租户公平性判断,容量不是越大越好。租约到期允许接管却不杀死旧worker,递增fencing token必须由实际提交端检查,不能只在调度器自查。
持久状态和检查点帮助重启恢复,先核未决外部动作再重算;取消先记录请求并在安全点释放资源,返回已接收不等于全停。降级可缩小检索或用缓存,但须说明质量与时效变化。排错构造A旧token、B新token和取消后的提交,三类写入结果应明确;目标不支持fencing时用业务幂等/对账补边界。面试把排队、租约、断点、取消、降级与恢复串成同一状态机。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
租约过期是否意味着旧worker停止?
参考思路与常见误区
不意味着,旧进程可能恢复,实际写入目标需fencing或幂等防护。
常见误区:锁到期就没有并发风险。
队列为什么需要背压?
参考思路与常见误区
到达率持续高于处理率会无限积压,应限制准入、容量和并发并传递繁忙状态。
常见误区:队列能吸收无限流量。
取消返回成功代表全部停止吗?
参考思路与常见误区
可能只接受请求,需要worker确认及外部操作核对,状态应明确区分。
常见误区:API成功等于远端回滚。
fencing只在调度器检查够吗?
参考思路与常见误区
不够,实际效果提交端也应拒绝旧token,不支持时用业务幂等和对账等机制。
常见误区:发出新token就自动保护所有系统。
重启后如何处理未完成任务?
参考思路与常见误区
读持久状态、租约和检查点,核对未决外部操作后再接管,不凭进程状态猜结果。
常见误区:全部从头无条件重做。