向量、概率与统计:把检索分数和评测数字解释清楚
从矩阵维度走到点积排序、贝叶斯更新和标准误差,避免把相似度当概率、把小样本波动当能力提升。
应用开发中最常见的数学错误,往往发生在解释数字时:向量分数0.8被当成80%正确,小样本通过率涨了2%就被当成显著改善。把维度、距离、条件与样本范围说清楚,比背更多公式更实用。
矩阵的维度表达了什么
一个 d 维向量有 d 个坐标;它的单个坐标通常不对应可直接命名的语义。N 条文档的向量堆叠为 [N,d],一个查询为 [d],矩阵乘查询可得到 N 个点积分数。若有 B 个查询,[B,d] × [d,N] 得到 [B,N]。共享的内维 d 必须一致,但维度相同不保证两个模型的坐标系兼容。
行向量/列向量是表示约定,代码必须与之对应。Embedding输出转置错了,有时在恰好N=d的小样本里仍能相乘,因此应选择不同尺寸的测试值暴露错误。拼接增加维度,求均值保持特征维度,二者不是同一种池化。
点积同时包含方向和长度
点积为坐标乘积之和,二范数为各坐标平方和的平方根,余弦是点积除以两个范数乘积。查询q=[1,0],文档A=[0.8,0.6],B=[8,8]。点积A=0.8、B=8,B更高;余弦A=0.8、B约0.707,A更高。B的长度更大,点积排序因此反转。
固定非零查询时,如果所有文档范数相同,余弦与点积排序相同;若查询与文档均归一化为单位向量,两者数值也相同。单位向量的平方欧氏距离等于 2−2×点积,所以最小距离与最大点积的排序一致。零向量不能用这个余弦公式,不能静默除零后返回一个看似可信的分数。
条件概率为什么必须说出条件
P(告警|有问题) 是系统对真实问题的检出能力,P(有问题|告警) 是看到告警后它真的有问题的概率,两者通常不同。设问题发生率1%,检出率90%,无问题时误报率5%。在10000条请求中约100条有问题,检出90;9900条正常请求中约495误报。585条告警只有90条真实,后验约15.38%。
贝叶斯公式在这里写成:后验 = 先验×检出率 / (先验×检出率 + (1−先验)×误报率)。它帮助解释为什么高检出率检测器在低发生率环境中仍可能产生大量误报。应用中阈值调整要同时考虑漏报成本、误报处理成本以及真实基准发生率。
模型给出的“置信度”只有经过校准验证,才能当作事件概率使用。检索余弦也不是上述后验;把0.8相似度直接显示成80%可信,会让用户误解系统能力。
期望、方差与平均值的波动
期望是按概率加权的平均。对于成功为1、失败为0的伯努利变量,成功概率为p,期望为p,方差为p(1−p)。如果N个样本独立同分布,样本均值的方差是p(1−p)/N,标准误差是其平方根。
通过率约0.8时,100个样本的标准误差约0.04,10000个样本约0.004。把标准误差降低10倍,需要约100倍独立样本,而不是10倍。真实问答样本往往按文档、用户或题型相关,应考虑分组抽样,不能把同一问题的一百种改写当成一百条完全独立证据。
标准误差描述估计量的抽样波动,不是单条回答的错误概率。小样本或比例接近0/1时,简单正态近似区间可能不可靠;应选择合适的比例区间或重抽样,并说明条件。两方案使用同一批问题时,配对差异比两个独立均值更能利用信息。
一次运行三个检查
保存为 math_basics.py,运行 python -X utf8 math_basics.py。它不调用embedding模型,向量与概率都是可手算输入。
"""向量排序、条件概率与抽样误差的数值算例。"""
from math import sqrt
def dot(a,b):
if len(a)!=len(b):raise ValueError('维度不一致')
return sum(x*y for x,y in zip(a,b))
def norm(a):return sqrt(dot(a,a))
def cosine(a,b):
length=norm(a)*norm(b)
if not length:raise ValueError('零向量余弦未定义')
return dot(a,b)/length
def posterior(prior,sensitivity,false_positive):
numerator=prior*sensitivity
return numerator/(numerator+(1-prior)*false_positive)
if __name__=='__main__':
q=[1.,0.];a=[.8,.6];b=[8.,8.]
for name,v in [('A',a),('B',b)]:
print(name,'点积',round(dot(q,v),4),'余弦',round(cosine(q,v),4))
print('告警后真的有问题',round(posterior(.01,.9,.05),4))
for n in [100,10000]:
print('样本数',n,'通过率0.8的标准误差',round(sqrt(.8*.2/n),4))A 点积 0.8 余弦 0.8
B 点积 8.0 余弦 0.7071
告警后真的有问题 0.1538
样本数 100 通过率0.8的标准误差 0.04
样本数 10000 通过率0.8的标准误差 0.004把B归一化后再比较点积,排序会与余弦一致。把先验1%改为20%,保持相同检出率和误报率,告警后验会大幅提高;这解释了在不同业务流量中,固定检测器的告警质量为何不同。把样本量100改为400,标准误差只减半。
从计算回到系统判断
检索选型要明确向量归一化与度量,迁移模型时重建适配索引。评测改进要报告样本量、样本独立性、任务切片与差异区间。阈值策略要根据验证集上真实正负例分布调节,而不是凭0.8这个数字看起来很高。
面试时如果被问“余弦和点积一样吗”,先给反例,再给成立条件,最后说明模型和索引必须一致。回答“样本通过率提升是否可信”时,先问样本量、是否配对、任务是否泄漏,再讨论统计方法。
综合追问:两个向量排序相反,告警比例又很高,哪些数字不能混用?
这是给定条件下的机制推演;数值用于解释判断,不是新增线上或模型实测。先独立回答,再核对下面的推理。
展开推理、取舍与排错路径
两条查询、三个文档、四维向量应得到2×3分数矩阵;故意使用不相等尺寸检查转置,若测试总用方阵,形状错误可能被掩盖。查询[1,0]面对[0.8,0.6]和[8,8],点积选后者、余弦选前者;是否归一化取决于模型训练的度量语义,零向量应明确拒绝,不能把归一化当普适修复。
告警检出率90%并不能推出告警90%可信,在无问题请求误报率为5%的条件下,以10000条请求、1%先验数出90真阳性与495假阳性。再把通过率视作伯努利均值,p=0.8的方差为0.16,100样本均值标准误差0.04,400样本为0.02;重复改写的相关样本不能这样直接按400计算。面试中先说事件与条件、随机变量与估计量,再选配对/分组抽样;若分数突升,检查范数、分母和样本重复,而非直接宣称模型进步。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
固定查询下,余弦与点积何时给出相同排序?
参考思路与常见误区
文档范数相同且非零时,归一化分母对所有文档是共同正数,排序相同。全部单位归一化时数值也相同。范数不同时点积受长度影响,可用[0.8,0.6]和[8,8]构造反例。
常见误区:只说向量维度相同,就认为两个度量等价。
B个查询、N个文档、d维向量,批量点积形状是什么?
参考思路与常见误区
查询[B,d]乘文档转置[d,N]得到[B,N],每行是一条查询对所有文档的分数。维度相同只是乘法条件,不能证明不同模型向量可混用。
常见误区:把文档原矩阵[N,d]直接相乘,或忽略坐标系版本。
检测率90%、误报5%,告警是否90%可信?
参考思路与常见误区
还需先验发生率。问题占1%时,一万条中90真告警、495误报,真实问题在告警中约15.38%。P(告警|问题)与P(问题|告警)不同。
常见误区:忽略基础发生率,倒置条件概率。
100样本通过率0.8,标准误差是多少?增加到10000呢?
参考思路与常见误区
独立同分布伯努利假设下sqrt(p(1-p)/n),分别约0.04和0.004。真实相关样本需分组估计,小样本和极端比例不能机械套正态区间。
常见误区:把标准误差当单个回答错误概率,或把相似改写当独立样本。
相似度0.8能否向用户展示为80%可信?
参考思路与常见误区
不能。相似度是几何度量,未必是校准概率;要在标注集验证分数与正确事件的关系。答案可信还涉及证据支持、时效和权限等独立条件。
常见误区:把任何0到1的数都当成事件概率。
向量检索的几何解释参考 Stanford 信息检索教材,比例估计的区间与条件参考 NIST 统计手册。