Embedding 模型评测:用相关性标签选模型
计算 Recall、MRR、nDCG,区分领域适配、输入前缀、截断和索引空间不一致。
“这个模型在榜单上更高”不能直接推出它更适合公司知识库。业务查询可能是缩写、编号、错别字、中文问题对应英文文档,或者只有一句短问题而候选是很长的条款。Embedding模型的训练目标、语言分布和输入协议都会影响这些情况。
先定义什么叫检索正确
为每条查询标注相关文档或相关块,而不是只存一个参考回答。一个问题可能需要多个证据,候选也可能有不同程度相关性。将无答案查询单独列出:它们用于检查拒答或低相关候选,不应把其Recall分母设为零后随意计满分。
训练/调参集与最终测试集应分开,近重复文档和同一个模板改数字的查询最好按文档族或业务事件分组切分,避免泄漏。困难负例应包括“术语相同但版本错误”“相似产品但编号不同”“正文相关但权限不可见”。权限正确性是独立硬约束,不能被平均相关性指标抵消。
三个指标回答不同问题
Recall@k 是前k条中命中的相关项数除以全部已标注相关项数。MRR@k 只看前k内第一条相关结果的倒数排名,第一名为1、第二名为0.5;它不会奖励找齐多条证据。nDCG@k 对靠前的相关项给予更大权重,并除以理想排序的DCG。下面使用二值相关标签和 1/log2(rank+1) 折扣;分级相关性常使用 2^grade−1 增益,必须事先固定定义。
查询q2需要b、c两条证据。排名 [d,b,c] 截到2条,只命中b,所以Recall@2=0.5、MRR@2=0.5。其DCG只有第二名的贡献 1/log2(3),理想前两名贡献为 1+1/log2(3),nDCG约0.3869。扩大k到3能提高Recall,但不改变第一条相关项的位置。
验证评测代码,而不是伪造模型成绩
保存为 embedding_eval.py,运行 python -X utf8 embedding_eval.py。A/B排名由人手工设置,不是两个模型的实测。目的是让你能核对指标及“同维度但不同空间”的配置检查。
"""给定排名测试评测器;A/B是人工夹具,不代表真实embedding模型。"""
from math import log2
def metrics(ranking,relevant,k):
if not relevant:raise ValueError('需单独评估无答案查询')
top=ranking[:k]
if len(set(ranking))!=len(ranking):raise ValueError('排名中不应重复文档')
recall=len(set(top)&relevant)/len(relevant)
rr=next((1/(i+1) for i,doc in enumerate(top) if doc in relevant),0)
dcg=sum(1/log2(i+2) for i,doc in enumerate(top) if doc in relevant)
ideal=sum(1/log2(i+2) for i in range(min(k,len(relevant))))
return recall,rr,dcg/ideal
def check_space(query_version,index_version,query_dim,index_dim):
if (query_version,query_dim)!=(index_version,index_dim):raise ValueError('查询与索引空间不一致')
if __name__=='__main__':
relevant={'q1':{'a'},'q2':{'b','c'}}
rankings={'A':{'q1':['a','d','b'],'q2':['d','b','c']},'B':{'q1':['d','a','b'],'q2':['b','c','d']}}
for model,queries in rankings.items():
scores=[metrics(queries[q],gold,2) for q,gold in relevant.items()]
averages=[sum(row[i] for row in scores)/len(scores) for i in range(3)]
print(model,'Recall@2/MRR@2/nDCG@2',[round(value,4) for value in averages])
try:check_space('new-v2','old-v1',768,768)
except ValueError as error:print('同维度换模型',str(error))A Recall@2/MRR@2/nDCG@2 [0.75, 0.75, 0.6934]
B Recall@2/MRR@2/nDCG@2 [1.0, 0.75, 0.8155]
同维度换模型 查询与索引空间不一致A的平均Recall@2为0.75,B为1;两者MRR相同,都是0.75。只看MRR会漏掉B在多证据覆盖上的改进。小样本结果也不稳定,正式比较应按语言、领域、查询长度和问题类型分层,保留逐查询差异,并用足够样本或配对重采样估计差异的不确定性。不能把两个手工样本解释成模型优劣。
编码协议也属于模型的一部分
某些模型区分query与passage前缀,某些支持不同prompt或任务路由;应按模型卡/官方接口编码。短查询到长文档是不对称任务,不能假设交换两端后效果不变。统一加“query:”也不是通用做法,错误前缀可能改变表示。
检查最大输入token数和实际截断位置。关键答案在文档尾部被截掉时,模型没机会编码它;增大输出向量维度不会补回已丢失输入。测试可以把同一证据移到不同位置,核对预处理后的token序列和截断日志。维度越高通常增加存储与距离计算成本,但质量不保证单调提升;只有模型支持相应降维方式时,才可按推荐策略截断向量维度。
归一化也要与检索度量一致。使用余弦时可对查询和文档都归一化后用内积排序;若模型明确以原始内积训练和评测,强行归一化可能丢掉模长信息。记录模型精确版本、tokenizer、前缀、池化、最大长度、归一化、精度和向量维度,作为索引schema的一部分。
换模型为何通常要重建索引
旧文档向量和新查询向量可能处在不同坐标系。即使都是768维,也不保证同一个坐标表达相同特征,因此维度相同不够。正确迁移通常建立新索引、重编码文档、用新查询编码器做影子评测,确认后原子切换查询与索引版本,并保留可回滚版本。跨空间映射是额外模型方法,需要专门验证,不能默认存在。
先用精确近邻评测embedding,隔离ANN误差,再引入实际索引比较延迟与召回损失。固定同一语料、切块和标签,才能把模型差异与其他链路改动分开。端到端回答质量仍要另测:检索相关只是生成的必要条件之一。
跨语言候选与可判标签
给一个可手工检查的小集合:q1“X17保修多久”,d1为“X17 warranty lasts 24 months”,d2为“X18 warranty lasts 36 months”,d3为“X17保修期为24个月(2023旧版,2025已改12个月)”。查询要求2025当前规则,因此补充d4“From 2025, X17 warranty lasts 12 months”。q1的gold是d4;d1缺有效期只能待核实,d2型号错,d3是显式过期困难负例。再设q2英文“What was X17 warranty in 2023?”,gold为d3。这样既测试跨语言,也防止模型仅靠同型号/相近词命中错误年份。若人工给定q1排名[d3,d4,d2],Recall@1=0、MRR@3=1/2;q2排名[d3,d4,d1]时两项均为1。这里的排名是教学输入,不是任何embedding模型跑分;实际比较时只替换排名来源,保留相同条件与标签。
综合边界推演与面试追问
准备中文短查询“X17保修”对应英文长文档,gold段落在末尾。A/B编码器都为768维,查询前缀却分别要求query与另一任务标记。先用各自正确协议编码并做精确搜索;若尾部证据在最大长度外被截断,增加维度并不能恢复它。
比较领域/语言分层Recall与MRR,不用通用榜单替代;归一化后内积可算余弦,但原始内积训练目标可能利用模长。更高维度提高存储和计算,只有模型明确支持降维时才按其方法测试,不任意截断。
模型版本相同仍差时核对tokenizer、前缀、池化、归一化和截断;模型不同即使维度相同也不能混用旧文档向量。逐query检查gold与困难负例,先隔离embedding再引入ANN;人工排名实验只验证指标,不代表A/B真实模型优劣。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
相关集合是b、c,排名d、b、c时Recall@2和MRR@2是多少?
参考思路与常见误区
前两名只命中b,所以Recall@2为1/2;第一条相关在第二名,MRR@2为1/2。增加k到3能找齐相关项,但第一条相关位置不变,MRR不会因此提高。
常见误区:用命中数除k当Recall,或把MRR当多证据覆盖率。
两个embedding都是768维,可以混用新查询与旧文档向量吗?
参考思路与常见误区
通常不可以,维度相同不保证坐标空间和训练表示兼容。应重编码文档并建设新索引,将查询模型、tokenizer、前缀、归一化和索引版本一起切换,除非另有经验证的跨空间映射。
常见误区:只检查维度和数据类型,不记录模型版本。
为什么查询前缀和文档前缀不能随意统一?
参考思路与常见误区
不对称检索可能对查询和段落使用不同训练协议、prompt或路由。应依模型卡与接口分别编码;错误或重复前缀会改变输入分布,不能把query:当所有模型的通用要求。
常见误区:认为前缀只是注释,对向量没有影响。
怎样判断模型不理解尾部内容,还是输入已经被截断?
参考思路与常见误区
检查目标tokenizer后的实际长度、最大输入配置及截断结果,把相同证据移动到不同位置比较。若证据未进入编码输入,首先修分块与长度策略,而不是盲目增加输出维度。
常见误区:只查看原始文档字符串,认为模型一定看到了全部文本。
怎样避免评测集让模型选择结果过于乐观?
参考思路与常见误区
按文档族或事件划分调参与测试,排除近重复泄漏,加入同术语错误版本、跨语言和编号负例,分层查看指标与逐查询差异。无答案与权限查询单列检查,最后再测端到端回答支持度。
常见误区:反复在同一小题集上调参后把最高分当泛化结果。
查询/文档编码的角色区别见 Sentence Transformers语义检索,接口参数见 模型API。下一篇比较不依赖稠密向量的 BM25。