离线、影子与在线A/B:质量结论如何走向真实流量
理解影子执行的副作用边界、随机分流、任务分布混杂、反馈选择偏差与回滚。
离线通过的方案上线后变差,可能是新问题分布、真实工具失败、用户行为变化,也可能是实验分流不公平。离线、影子和A/B分别降低不同不确定性,不能把任何一种当成另一种的替代品。
三个阶段各自回答什么
离线集提供固定输入与gold,适合快速回归、错误归因和预算内消融,但覆盖受采样与历史限制。影子流量把线上输入复制给候选系统,观察时延、资源和输出差异,却不把候选回答返回用户。在线A/B让不同实验组真实使用不同版本,才能观察反馈和任务结果,但需要严格分流和风险控制。
影子Agent不能直接重复执行真实退款、发信或写数据库。可使用只读镜像、模拟工具或记录拟执行动作;这些模式会改变环境反馈,因此影子通过仍不证明写操作端到端可靠。还要控制复制敏感数据的范围、额外容量和外部API费用。
先固定随机化单位
按用户分组可避免同一用户今天看到A明天看到B造成体验干扰;按会话分组适用于某些短任务,但需考虑同一用户多个会话相关。稳定哈希只是分桶方法,不等于自动平衡所有任务;应检查流量比例、关键分层和跨组污染。实验期间模型、提示和数据版本都应可追溯。
设定主指标和护栏:任务成功率可以是主指标,错误副作用、成本、p95延迟和拒答率可作为护栏。预先约定样本量、观测周期与停止规则;看到前几十题领先就结束会增加误报风险。高风险回归可以触发安全停止,但应与统计显著性声明区分。
可运行实验:混杂导致结论反转
Python 3.13执行 python -X utf8 online_experiment.py。固定人工计数只用于解释统计,不发送请求,也不部署实验。
"""固定分层样本说明流量混杂;稳定分桶不发送真实请求。"""
import hashlib
def bucket(user):return int.from_bytes(hashlib.sha256(user.encode()).digest()[:4],'big')%100
def rate(groups):return sum(s for s,n in groups.values())/sum(n for s,n in groups.values())
def standardized(groups,weights):return sum(weights[k]*groups[k][0]/groups[k][1] for k in weights)
if __name__=='__main__':
a={'easy':(81,90),'hard':(1,10)};b={'easy':(19,20),'hard':(16,80)}
print('原始A/B',rate(a),rate(b))
print('统一50/50任务分布',standardized(a,{'easy':.5,'hard':.5}),standardized(b,{'easy':.5,'hard':.5}))
print('同用户稳定分桶',bucket('user-7'),bucket('user-7'))
print('影子模式允许副作用',False)实际输出:
原始A/B 0.82 0.35
统一50/50任务分布 0.5 0.575
同用户稳定分桶 40 40
影子模式允许副作用 FalseA简单题81/90=0.9,难题1/10=0.1,总成功82%。B简单题19/20=0.95,难题16/80=0.2,总成功35%。B在每一层都更好,却因难题占比高而总体更低。按同一个50/50分布标准化后,A为0.5,B为0.575。标准化能说明混杂,但不能替代合理随机实验或修复所有未观察因素。
反馈并不是随机标签
愿意点踩的人、遇到严重错误的人和非常活跃的人更可能反馈。直接把这些反馈当总体质量会偏;只看用户接受率还可能奖励自信而错误的回答。结合随机抽样人审、可执行结果、分层反馈和必要的权重,记录缺失标签的机制。
监控主题、语言、文档新旧、问题长度、工具类别和失败类型的漂移。若分布变化,先判断是数据问题、路由问题还是模型退化,再调整训练或提示,避免将短期波动当稳定趋势。
回滚必须可以实际执行
发布前确定流量开关、旧版本可用性和数据兼容,阈值触发后先止损再分析。带写操作的Agent已经产生的副作用不会随模型回滚自动消失,需要幂等、补偿或人工处理路径。Google SRE金丝雀发布章节提供小范围、限时评估发布的工程思路;本文的A/B数值为原创教学例子,不代表任何在线实验结果。
综合边界推演与面试追问
A简单81/90难题1/10,总82%;B简单19/20难题16/80,总35%,但两层B都更好。统一50/50后A=0.5、B=0.575,说明非随机流量混杂可反转结论。稳定按用户分桶还需检查跨会话相关和分流比例。
离线固定gold便于回归却覆盖有限,影子复制真实输入但必须模拟写工具,A/B才能观察真实体验却有风险和样本需求。真实用户反馈具有选择偏差,点赞率不等于事实质量;结合随机人审与执行结果。
线上退化先按主题语言长度风险分层,看模型/提示/知识版本和工具失败是否变化;检查样本比例与护栏,不因短期领先提前停试。回滚恢复后续路由,已发生写副作用仍需查询/补偿,不能由切旧模型撤销。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
离线、影子、在线A/B分别验证什么?
参考思路与常见误区
离线验证固定数据回归,影子观察真实输入下的候选行为和资源,在线A/B测真实使用结果。它们覆盖的环境反馈不同。
常见误区:影子成功就证明用户体验提升。
写工具为什么不能直接在影子流量重放?
参考思路与常见误区
会重复发信、退款或修改数据。应模拟、只读或记录拟执行动作,并承认这不验证真实写入全部行为。
常见误区:不给用户显示输出就没有副作用。
B每层都优于A,总体却更差,可能原因是什么?
参考思路与常见误区
任务分布混杂,例如B接到更多难题。需检查随机化、分层指标和统一目标分布,不能直接凭总体平均归因。
常见误区:算术结果矛盾所以必有程序错误。
用户点赞反馈为何不等于随机质量标签?
参考思路与常见误区
反馈者具有选择性,活跃用户、极好或极坏体验更可能反馈。应结合随机人审、执行结果、分层与缺失机制分析。
常见误区:只要反馈多就没有偏差。
模型回滚后业务副作用会自动撤销吗?
参考思路与常见误区
不会。已发消息、退款等需要幂等、补偿或人工处理;回滚只恢复后续路由与版本,还要检查数据兼容。
常见误区:切回旧模型能撤销过去所有动作。