存储事务与幂等:超时重试后如何避免重复写入
用SQLite的真实提交、回滚和唯一约束解释重复消息处理,再延伸到隔离、索引、连接池、缓存与对象存储。
Agent调用业务工具后超时,服务端却可能已经完成写入。如果再次发送同一动作,就可能重复扣减库存或生成工单。仅在客户端内存里记“调用过”不够:进程会重启、请求会并发、网络会丢响应。操作标识与业务变化需要在可信存储中建立一致关系。
先定义幂等键的作用域与语义
一个合理的操作标识常由租户、业务类型、请求ID构成,不能让不同租户偶然复用相同ID就互相影响。还应保存与请求内容绑定的摘要或关键参数:相同ID、相同参数可以返回已完成结果;相同ID却不同金额应拒绝,不能默默重放旧结果。
幂等键的有效期取决于业务可重试窗口及存储策略。过早清理后,迟到的重复消息会再次执行。保存“处理中”状态时要定义超时接管、事务提交和结果查询方式,不能把永久处理中当成正确的去重。
唯一约束比先查询更接近并发边界
两个请求可能同时查询到“没有这条操作”。若只凭查询结果决定插入,两者都能尝试执行。数据库唯一约束在写入时裁决冲突,使同一个键最多有一条记录。应用应把唯一冲突、数据库忙、余额不足和未知结果分成不同错误,不把它们全部当成功。
在单库业务中,把操作记录与业务更新放在同一事务:两者都提交或都回滚。示例同时插入操作记录并扣减余额,提交前抛异常时两项都撤销。参数化SQL把值与语句分开,避免把用户文本拼成SQL;金额使用整数分,避免二进制浮点金额误差。
保存为 transactions.py,运行 python -X utf8 transactions.py。内存SQLite是实际数据库执行,不访问任何业务库。
"""真实 SQLite 事务与唯一约束;内存库不影响现有业务数据。"""
import sqlite3
def setup():
db=sqlite3.connect(':memory:')
db.executescript('''
CREATE TABLE accounts(id TEXT PRIMARY KEY,balance INTEGER NOT NULL);
CREATE TABLE operations(tenant TEXT,request_id TEXT,amount INTEGER,
PRIMARY KEY(tenant,request_id));
INSERT INTO accounts VALUES('A',100);
''')
return db
def debit(db,tenant,request_id,amount,fail=False):
if type(amount) is not int or amount<=0:raise ValueError('amount必须是正整数分')
with db:
old=db.execute('SELECT amount FROM operations WHERE tenant=? AND request_id=?',(tenant,request_id)).fetchone()
if old:
if old[0]!=amount:raise ValueError('同一幂等键参数冲突')
return 'replayed'
db.execute('INSERT INTO operations VALUES(?,?,?)',(tenant,request_id,amount))
changed=db.execute('UPDATE accounts SET balance=balance-? WHERE id=? AND balance>=?',(amount,tenant,amount)).rowcount
if changed!=1:raise ValueError('账户不存在或余额不足')
if fail:raise RuntimeError('模拟提交前故障')
return 'committed'
if __name__=='__main__':
db=setup()
try:
print(debit(db,'A','r1',30))
print(debit(db,'A','r1',30))
try:debit(db,'A','r2',20,fail=True)
except RuntimeError:print('故障后回滚')
print('余额',db.execute('SELECT balance FROM accounts').fetchone()[0])
print('操作条数',db.execute('SELECT count(*) FROM operations').fetchone()[0])
try:debit(db,'A','r1',40)
except ValueError as exc:print(str(exc))
finally:db.close()committed
replayed
故障后回滚
余额 70
操作条数 1
同一幂等键参数冲突第一次扣30后余额70;相同请求重放不再扣减;第二个请求扣20后故意抛错,回滚后余额仍为70、操作表仍只有一条。更改同一请求ID的金额会报参数冲突。with db负责事务提交/回滚,但不会自动关闭连接,因此最后还要close()。
这个小程序顺序发送请求。并发时仍应依靠数据库约束,并对冲突后查询结果、锁等待和重试做单独测试;不能因为顺序重放成功就宣称所有并发故障已验证。
隔离决定并发事务能看到什么
原子性讨论一个事务是否整体生效,隔离讨论多个事务之间如何互相观察。常见问题包括脏读、不可重复读、幻读和写偏差;具体数据库对隔离级别的实现不能只凭同名术语推断。可串行化也可能以中止/重试某个事务实现,不代表永不冲突。
SQLite通常将写事务串行化;WAL等模式会影响读写并发与快照行为。业务数据库可能采用行锁、MVCC和不同冲突检测。对余额约束,可使用带条件的原子UPDATE并检查影响行数;先读余额、在应用里计算、再无条件覆盖容易丢失并发更新。事务保持短小,避免持锁等待模型生成或外部网络调用。
把隔离异常写成时间线更容易定位:T1读余额100,T2把它改为80并提交,T1再读得到80,这是不可重复读;若T1读到了T2尚未提交、后来回滚的80,则是脏读。幻读关注同一谓词范围再次查询时符合条件的行集合变化,不是同一行的数值变化。能否观察到这些变化取决于隔离实现和读取方式。
更隐蔽的是写偏差:两位值班医生各自看到“另一人仍在岗”,分别修改自己的不同记录为离岗,最终无人值班;单行唯一约束不表达“至少一人在岗”的跨行不变量。可按业务使用串行化冲突检测或锁住共同约束对象,并对被中止事务从头重试。验证时用两个独立事务按固定屏障交错,核最终不变量,而不是只看两次UPDATE都返回成功。本页顺序SQLite实验没有实际注入这个并发场景。
索引与连接池怎样影响延迟
索引帮助定位满足条件的数据,但增加写入维护、存储与重建成本。复合索引的列顺序应结合过滤、排序和选择性,不能只按“经常查的字段都建一个”。查看执行计划与真实数据分布,确认查询是否利用索引、是否回表和排序。小表快不证明百万行仍快。
连接池复用连接,但连接数不是越多越好。数据库并发能力有限,池过大会加剧争用,池过小则增加等待。区分拿连接超时与SQL执行超时;归还连接前确保事务结束,避免后续请求继承未提交状态。租户上下文和会话参数也要重置,不能随连接泄漏给下一请求。
缓存、对象存储与事务外副作用
缓存命中不等于最新事实。Cache-aside常在更新数据库后失效缓存,但读写竞争仍可能产生旧值回填;根据业务要求选择版本号、短TTL或更强一致策略。权限撤回与删除必须传播到缓存,不能只更新主表。
大文档通常放对象存储,数据库保存对象键、版本、哈希、状态和权限。对象上传与数据库提交通常不是一个原子事务,应设计临时对象、确认发布、补偿与过期清理。下载URL有效不表示当前用户仍有权限,签名URL的范围与有效期也需控制。
外部付款或发消息不能被SQLite回滚。常见做法是事务内写outbox事件,事务后由投递器发送,接收方用幂等键处理;仍需重试、对账与毒消息处理。这样实现可恢复的至少一次投递,不应随意宣传端到端“恰好一次”。
综合追问:查询变慢、重复写入与删后仍可见,怎样分层处理?
这是给定条件下的机制推演;数值用于解释判断,不是新增线上或模型实测。先独立回答,再核对下面的推理。
展开推理、取舍与排错路径
一张订单表按tenant_id和order_id查询,却只给created_at建索引。先看执行计划与实际过滤条件;复合索引可减少扫描,但增加写入和存储成本,列顺序要匹配查询而非每列都建。两个事务同时查不到同一幂等键时,“先查再插”仍会竞争,应由唯一约束和事务裁决;更强隔离减少某些异常,却可能增加冲突重试,不能用隔离级别替代业务约束。连接池等待高而SQL本身快,先查池占用、未归还连接和长事务,不盲目扩池压垮数据库。
文档删除后还能查到时,按主表、缓存、索引、对象文件逐层追踪版本。缓存读旧值可能是删除后被并发旧读回填,需要版本门槛或失效策略;对象存储适合大文件,事务表保存引用与状态,先上传对象再发布可见引用并处理孤儿对象。数据库回滚不撤回对象上传。面试回答应给出查询计划、唯一冲突、事务边界、池等待和派生数据版本五类证据,分别说明修复后如何复查。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
为什么先查幂等键再写入仍可能重复?
参考思路与常见误区
并发请求可同时查到不存在,必须用数据库唯一约束裁决,并把操作记录与业务变更放同一事务。冲突后需查询已有状态,不能把所有异常都当重放成功。
常见误区:只靠应用内存或一次SELECT防并发。
相同幂等键但金额不同,应返回旧结果吗?
参考思路与常见误区
应拒绝参数冲突。幂等键应绑定租户、业务类型与请求内容摘要或关键参数;否则新操作可能被误识别为旧请求。还需定义有效期与结果查询。
常见误区:仅比较请求ID,不核对作用域和内容。
数据库事务能撤销已经发送的外部消息吗?
参考思路与常见误区
不能自动撤销外部系统副作用。可用事务内outbox、可靠投递、接收方幂等和对账实现恢复;仍需处理重复、延迟与失败,不宣传无条件端到端恰好一次。
常见误区:把本地回滚当成跨系统回滚。
连接池为何可能导致租户状态泄漏?
参考思路与常见误区
归还连接前未结束事务或重置会话参数,后续请求可能继承旧状态。应清理事务与租户上下文,限制池容量并区分池等待和SQL执行耗时。
常见误区:认为池只影响性能,没有正确性要求。
主表删掉文档后,为什么仍可能被检索到?
参考思路与常见误区
向量索引、缓存、派生摘要和对象存储可能仍保留旧版本。删除与权限撤回要传播,读路径可按版本/授权再次核对;签名URL也有独立有效期。
常见误区:把主表写入成功等同所有派生状态同步完成。
事务接口参考 Python sqlite3,SQLite并发语义见 Isolation In SQLite。生产数据库应另查其版本文档与实测隔离行为。