消融、统计与数据污染:两个百分点是否可信
手算Wilson区间与配对差异,解释样本量、多重比较、控制变量和评测泄漏。
新方案10题答对8题,旧方案答对7题,能否宣布提升10个百分点?可以陈述这个样本上的差值,但不能凭10题证明总体稳定提升。还要知道两组是否做同样题、哪些题发生变化、随机性多大,以及是否反复挑了最好看的实验结果。
消融要控制其他变化
想研究重排收益,应固定查询、数据快照、初检候选、生成器、提示和预算,只改变是否重排或具体重排方案。若同时换embedding、增大k并更新模型,结果只能归于整个组合,不能把全部收益写成“重排带来”。
组件间可能存在交互:重排在大候选窗口下有收益,在小窗口下没有。可用小型因子实验比较有无重排×不同窗口,并说明额外计算成本。消融删除一个组件后,需保证剩余流程仍是合法系统,不能故意制造无效对照。
单个比例与差值需要不同推断
Wilson区间用于二项比例的区间估计。令p为成功率,n为样本数,z=1.96,分母为1+z²/n;中心为(p+z²/2n)/分母,半宽为z×sqrt(p(1-p)/n+z²/(4n²))/分母。与简单正态近似相比,它不会轻易给出负概率,但仍依赖抽样和独立性假设。
8/10与80/100点估计都是0.8,后者区间更窄。95%区间的频率学解释是重复按同一程序抽样构造区间,约95%覆盖固定真值;不是对已经固定的区间随意赋予“真值95%概率”。两个比例区间是否重叠也不能替代针对差值的检验。
完整实验:相同均值,不同证据强度
Python 3.13执行 python -X utf8 paired_statistics.py。符号检验在非平局配对中检验胜负等可能,程序枚举二项分布尾部;这是教学实现,不处理复杂相关数据。
"""Wilson区间、配对差异与完全枚举符号检验;教学样本非业务结论。"""
from math import sqrt,comb
def wilson(success,total,z=1.96):
if total<=0 or not 0<=success<=total:raise ValueError('invalid sample')
p=success/total;den=1+z*z/total;center=(p+z*z/(2*total))/den
half=z*sqrt(p*(1-p)/total+z*z/(4*total*total))/den
return center-half,center+half
def paired(a,b):
if len(a)!=len(b) or not a:raise ValueError('paired nonempty rows required')
wins=sum(y>x for x,y in zip(a,b));losses=sum(y<x for x,y in zip(a,b));n=wins+losses
p=min(1,2*sum(comb(n,i) for i in range(min(wins,losses)+1))/2**n) if n else 1
return {'wins':wins,'losses':losses,'ties':len(a)-n,'delta':(sum(b)-sum(a))/len(a),'sign_test_p':p}
if __name__=='__main__':
print('8/10区间',tuple(round(x,4) for x in wilson(8,10)))
print('80/100区间',tuple(round(x,4) for x in wilson(80,100)))
print('配对',paired([1,1,1,0,0,0],[1,1,0,1,1,0]))
print('20个独立零效应比较至少一次假阳性概率',round(1-.95**20,4))实际输出:
8/10区间 (0.4902, 0.9433)
80/100区间 (0.7112, 0.8666)
配对 {'wins': 2, 'losses': 1, 'ties': 3, 'delta': 0.16666666666666666, 'sign_test_p': 1}
20个独立零效应比较至少一次假阳性概率 0.6415六道同题对照中,新方案赢2题、输1题、平3题,平均差为1/6。有效非平局只有3题,两侧符号检验p=1,并没有强证据拒绝胜负等可能。p值不是“新方案无效的概率”,也不是效果大小;报告仍应包括实际差值、分层样本和成本。
样本量、相关性与多重比较
样本量设计需要基线成功率、希望检测的最小实际差异、显著性与检验功效;同用户多个任务或同文档多条改写并不完全独立。配对实验通常比两批不同题更能排除题目难度差异,bootstrap时也要按合理的独立单位或簇重采样。
如果做20个彼此独立、真实无效的比较,每个以0.05阈值判显著,至少一次假阳性的概率为1-0.95²⁰约0.6415。实际实验未必独立,但“试得越多越容易挑中幸运结果”仍需防范。预先指定主比较,按需要使用多重比较控制,并在独立保留集确认。
污染会让统计精确地估错目标
训练数据包含测试答案、提示直接放入gold、同源改写跨集合、用测试错误反复调参,都可能导致评测不再代表未见任务。增加样本或缩小置信区间不能修复这种系统偏差。维护来源与分组切分、锁定验收集、记录开发访问,并针对动态事实建立新鲜测试。NIST置信区间说明提供比例区间的公式依据;本文所有数字来自明确给出的人工计数。
综合边界推演与面试追问
同题六项新方案赢2输1平3,差1/6但非平局仅3,符号检验p=1。8/10与80/100都80%,Wilson区间宽度不同。连续试20个独立零效应假设,至少一次0.05误报概率约0.6415,不是仍然5%。
配对控制难度差异,比随机两批题更易归因;bootstrap应按用户/文档等独立簇,近重复不当独立样本。样本量需最小有意义差异与功效,不单看显著。多指标探索可发现线索,但最终需预定主比较或校正并独立确认。
消融固定候选、模型、提示、预算,只改重排;交互用明确因子实验。发现测试答案进提示、训练或反复调参时,扩大题量不能修复污染,应重建保留集。p值不等于无效概率,区间也不代替样本代表性检查。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
想证明重排有收益,应该固定什么?
参考思路与常见误区
固定问题、数据、初检候选、生成器、提示和预算,只改变重排;若研究交互,可明确做候选窗口×重排的因子实验。
常见误区:同时换全部组件后归因给重排。
8/10和80/100都是80%,证据强度一样吗?
参考思路与常见误区
不同,后者在独立同分布假设下区间更窄。还需检查样本代表性与相关性,更多近重复题不能当同量独立样本。
常见误区:点估计相同就无需报告样本量。
配对实验为何优于任取两批题比较?
参考思路与常见误区
同题对照控制题目难度差异,能直接统计每题胜负与差值。仍需固定环境并处理重复用户或文档带来的相关。
常见误区:只比较两个平均值不必保留样本ID。
反复试20次再挑显著结果有什么风险?
参考思路与常见误区
多重比较提高至少一次假阳性概率;独立零效应且每次0.05时约1-0.95^20=0.6415。预定主比较并在独立保留集确认。
常见误区:每次检验5%意味着最终也只有5%风险。
扩大被污染的测试集能修复泛化估计吗?
参考思路与常见误区
不能,统计精度不能修复训练答案泄漏或反复调测试集的系统偏差。需来源检查、分组隔离、锁定保留集和新鲜任务。
常见误区:只要题量大,泄漏影响自然消失。