向量距离与 ANN:把表示错误和搜索漏召回分开
比较内积、余弦和平方L2,手算归一化关系,并用分区遗漏验证ANN Recall。
向量检索没有找到正确文档,可能是embedding把它放错位置,也可能是近似搜索没检查到它。两个问题需要不同对照实验:先固定向量用精确搜索确定最近邻,再比较ANN返回结果,才能知道索引损失了多少召回。
三种度量,排序可能不同
内积为各维乘积之和,越大越近;余弦是内积除以两个向量范数,比较方向;欧氏距离L2是差向量范数,越小越近。很多引擎返回平方L2,省去开根号,排序不变,但距离阈值必须平方后才能直接对应。不要把余弦相似度与余弦距离的排序方向写反。
dot(q,x) = Σ q_i x_i
cos(q,x) = dot(q,x) / (||q|| ||x||)
L2²(q,x) = Σ(q_i−x_i)²
若 ||q||=||x||=1:L2² = 2 − 2 dot(q,x) = 2 − 2 cos(q,x)归一化后的内积最大、余弦最大与L2最小给出相同排序。没有归一化时,L2还受候选模长影响。即使查询固定,内积对候选范数很敏感;不能只归一化查询就声称实现了余弦检索。零向量没有定义良好的余弦,应拒绝或用明确业务策略处理。
一个会改变第一名的算例
查询为 [1,0],A=[0.9,0.1],B=[10,1],C=[0.8,0.6]。B虽然模长很大,但方向比A略接近查询,因此余弦也可能把B放在A前;L2则显然更偏向坐标接近的A。具体计算:A平方L2为0.02,B为82,C为0.4;内积分别0.9、10、0.8。选度量应匹配模型训练与使用协议,而不是偏好看起来更小的数。
保存为 vector_ann.py,运行 python -X utf8 vector_ann.py。后半段用两个固定分区演示候选遗漏,不是完整IVF或HNSW实现,也没有测量真实索引延迟。
"""用两个手工分区演示候选截断漏召回,不是完整IVF/HNSW实现。"""
from math import sqrt
def dot(a,b):
if len(a)!=len(b):raise ValueError('维度不一致')
return sum(x*y for x,y in zip(a,b))
def normalize(a):
norm=sqrt(dot(a,a))
if norm==0:raise ValueError('零向量不能计算余弦')
return [x/norm for x in a]
def l2(a,b):
if len(a)!=len(b):raise ValueError('维度不一致')
return sum((x-y)**2 for x,y in zip(a,b))
def top(query,vectors,k=2):return sorted(vectors,key=lambda key:(l2(query,vectors[key]),key))[:k]
if __name__=='__main__':
query=[1.,0.];vectors={'A':[.9,.1],'B':[10.,1.],'C':[.8,.6]}
print('原始内积',sorted(vectors,key=lambda key:-dot(query,vectors[key])))
print('平方L2',top(query,vectors,3))
print('余弦',sorted(vectors,key=lambda key:-dot(normalize(query),normalize(vectors[key]))))
query=[.9,0.];vectors={'a':[.8,0.],'b':[1.01,0.],'c':[0.,0.],'d':[2.,0.]}
exact=top(query,vectors);one_probe=top(query,{key:vectors[key] for key in ['a','c']})
print('精确Top2',exact,'单分区Top2',one_probe)
print('ANN Recall@2',len(set(exact)&set(one_probe))/2)
print('两分区Top2',top(query,vectors))原始内积 ['B', 'A', 'C']
平方L2 ['A', 'C', 'B']
余弦 ['B', 'A', 'C']
精确Top2 ['a', 'b'] 单分区Top2 ['a', 'c']
ANN Recall@2 0.5
两分区Top2 ['a', 'b']第二个例子查询在0.9,a在0.8,b在1.01,因此精确前两名为a、b。只检查包含a、c的分区会返回a、c,ANN Recall@2为1/2。检查两个分区恢复a、b,但检查候选更多。此时embedding没变,召回差异来自候选搜索范围。
近似搜索怎样换取速度
精确搜索对所有候选计算距离,作为基线直接但计算量随文档数和维度增长。ANN通过限制访问候选或压缩表示减少成本:分区方法只搜索部分区域,图方法沿近邻连接探索,量化方法用压缩向量近似距离。不同方式可组合,索引构建时间、内存与更新行为也不同。
分区数、探查分区数、图搜索宽度等参数的含义依算法而异。通常扩大查询探索范围会提高接近精确结果的机会,同时增加CPU/GPU工作和延迟;并非每个查询都单调改善,也不能假设一次调参适合所有过滤条件。HNSW的建图参数与查询搜索宽度要分开,前者通常需要重建索引,后者可在查询阶段调整。
召回率必须说明“相对于谁”
ANN Recall@k通常以同一向量、同一度量、同一可见候选集的精确Top-k作为参照。业务Recall@k以人工相关标签为参照。一个索引可以100%复现精确近邻,但embedding本身没有把业务相关文档排近,最终业务Recall仍然很差。
若有距离并列,要固定可重复的tie-break规则或使用允许同距替代的评价,避免把无意义的顺序差异计作算法失败。权限/类别过滤也要一致:精确基线在A租户里搜,ANN却先在全库取k再过滤,两者比较就混入了过滤策略损失。后过滤可能得到不足k条结果,需要更大候选或支持预过滤的索引策略,并且输出前必须保证权限正确。
用质量—延迟曲线选工作点
固定语料快照、embedding版本、度量和查询集,测不同探索参数下的ANN Recall、业务Recall、p50/p95/p99延迟、吞吐与内存。冷缓存与热缓存、单并发与目标并发应分开。只报平均延迟会掩盖少数长尾查询;只报最高Recall则可能失去ANN的性能意义。
排错顺序可以是:检查向量维度/NaN/范数,核对模型与归一化,执行精确搜索,再比较ANN候选和过滤,最后看重排与生成。这样能避免把ANN漏召回误判为“模型不懂业务”,也避免用无限提高搜索宽度掩盖表示质量问题。
综合边界推演与面试追问
查询q=(1,0),a=(2,0),b=(1,1)。内积a=2、b=1;余弦a=1、b约0.707;L2两者都为1。若把a改成(100,0),内积仍强但L2极远。归一化后的L2平方=2-2cos,因此单位向量的余弦与L2排序对应。
精确扫描给相同度量下的基线,ANN以有限访问降低工作量并可能漏邻居。查询与库归一化必须一致,零向量余弦未定义要拒绝或明确处理;不能在不同度量或权限集合之间算ANN Recall。
先用Flat测业务相关性,再固定向量度量与过滤测ANN对Flat的Recall@k;前者差是表示/标签问题,后者差查搜索预算或量化。不同k、并发与输入长度下同时测尾延迟,不用一个平均延迟宣布工作点最优。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
什么时候内积、余弦和L2能给出相同排序?
参考思路与常见误区
查询和候选均为单位向量时,内积等于余弦,平方L2等于2减2倍内积,所以最大相似度与最小距离等价。只归一化查询不够,零向量需要单独处理。
常见误区:忽略候选模长,或把距离与相似度都按降序排。
引擎返回平方L2,阈值应该怎样处理?
参考思路与常见误区
平方与开根号不改变非负距离的排序,但数值阈值不同。原L2阈值r对应平方L2阈值r²,应先核对引擎定义和单位。
常见误区:排序看起来一致,就原样复用所有距离阈值。
精确Top2是a、b,ANN返回a、c,ANN Recall@2是多少?
参考思路与常见误区
交集只有a,按精确Top2为参照得到1/2。这个指标衡量索引接近精确搜索的程度,并不直接说明a/b是否业务相关;业务相关性需要人工标签。
常见误区:把ANN Recall当作模型语义质量,或认为精确检索必然回答正确。
如何区分embedding差与ANN漏召回?
参考思路与常见误区
固定向量版本、度量和过滤候选集,先做精确搜索并对照业务标签,再比较ANN与精确Top-k。若精确结果就不相关,先查表示/预处理;若精确相关而ANN漏掉,再调搜索范围或索引。
常见误区:在两次实验中同时更换模型、分块和索引参数。
为什么全库取top-k再做权限过滤,可能不足k条?
参考思路与常见误区
全库最近邻可能大多无权访问,后过滤将其剔除后剩余变少。应对照相同可见集合的精确基线,考虑更大候选或支持预过滤的策略,并始终保证最终权限边界。
常见误区:为了补够k条把无权限候选重新放回结果。
度量与归一化关系见 Faiss官方说明。后续的HNSW、IVF/PQ和混合检索将在各自专题展开;本篇先建立可验证的比较基线。