混合检索与 RRF:合并互补候选,而不是盲加分数
逐项计算排名融合,解释候选窗口、重复结果、路由与失败降级如何影响最终召回。
BM25擅长精确词,稠密向量有机会找到同义表达。混合检索希望把两边的有效候选都送入后续阶段,而不是把“同时用了两个检索器”当成效果保证。一条路不断返回相似噪声,也会挤占融合后的候选预算。
先区分融合对象
分数融合需要处理不同检索器的尺度与分布;BM25原始分数可能大于1,余弦通常在−1到1,交叉编码器又可能输出未校准logit。直接相加时,数值更大的检索器会主导。min-max归一化、z-score或学习到的校准可以使用,但要考虑异常值、候选窗口和跨查询分布变化。
排名融合只使用各路名次,避免直接比较原始分数。RRF的常见形式是:文档d在每路排名r从1开始,贡献 1/(c+r),对所有命中路求和;未出现的路贡献0。常数c越大,头部与尾部的差异相对越平缓。c不是最终返回条数k,不能混用。
手算两路融合
词法排名是a、b、c,向量排名是b、d、a。当常数c=60,a得 1/61+1/63≈0.032266,b得 1/62+1/61≈0.032522,因此b略高。d只有第二路第二名的贡献,c只有第一路第三名的贡献。原始分数差距被舍弃,这是RRF的简化,也是一种信息损失。
保存为 rrf.py,运行 python -X utf8 rrf.py。输入是手工排名,只验证融合计算和去重。
"""排名融合与路内去重,不进行实际词法/向量模型调用。"""
from collections import defaultdict
def fuse(rankings,constant=60):
if constant<0:raise ValueError('constant不能为负')
scores=defaultdict(float)
for ranking in rankings:
unique=list(dict.fromkeys(ranking))
for rank,doc in enumerate(unique,1):scores[doc]+=1/(constant+rank)
return sorted(scores.items(),key=lambda pair:(-pair[1],pair[0]))
if __name__=='__main__':
lexical=['a','b','c'];dense=['b','d','a']
for constant in (0,60):print('constant=',constant,[(doc,round(score,6)) for doc,score in fuse([lexical,dense],constant)])
print('重复不会多投票',fuse([['a','a','b'],['b']],0)==fuse([['a','b'],['b']],0))constant= 0 [('b', 1.5), ('a', 1.333333), ('d', 0.5), ('c', 0.333333)]
constant= 60 [('b', 0.032522), ('a', 0.032266), ('d', 0.016129), ('c', 0.015873)]
重复不会多投票 Truec=0用于观察倒数排名差异,不代表某个搜索产品允许此参数;例如产品API可能要求常数至少为1。程序按唯一文档ID在路内去重并重新编号。如果各路返回的是块而生成阶段按文档去重,应显式定义聚合规则,不要让一个文档因切得更碎而获得无限多票。
候选池决定融合上限
每路前20、两路合并、再取10,与每路前100再融合不是同一个结果。未进入任何候选池的文档不可能靠RRF出现。记录每路候选量、并集大小、重叠比例、融合后Recall和送入重排的数量,才能判断收益来自互补还是单纯扩大预算。
近重复块可以按文档版本、位置和文本相似关系聚合,但不同段落可能分别提供必要证据,不能一律每篇只留一块。去重时保留所有来源与分数轨迹,方便解释结果;权限必须在每一路及最终输出都一致,融合不应把无权结果重新带回。
查询路由与失败降级
含精确编号的查询可以提高词法路优先级,跨语言自然问句可能更依赖向量,但路由规则应由测试集验证,并为误分类保留兜底。多路并行降低串行延迟,却不消除慢路的尾延迟;设置独立超时、总预算和部分结果策略,记录本次是否降级,避免把只有一路的结果冒充完整混合查询。
融合常数、路权重和候选量都是可调参数。应先固定其他条件,按精确词、同义问法、跨语言、无答案和权限场景分别比较。最终还要测重排与生成,不要因融合Recall提高就认定回答事实准确率一定提高。
综合边界推演与面试追问
两路名次a,b,c与b,d,a,常数60时b得1/62+1/61,a得1/61+1/63,所以b略高。若一路把b重复返回两次,路内应去重,否则人为多算一票;任何路都没召回的e无法由融合产生。
排名融合绕开原始分数尺度,但丢掉分数间隔信息;分数归一可保留强弱却受样本分布校准影响。窗口扩大有机会增加并集覆盖,也增加重排和延迟;路由仅开词法可降低编号题成本,却可能误伤同义表达。
融合异常先查排名从1开始、缺失贡献0、路内去重及候选截断;单路超时应记录降级和来源,不把单路结果算成完整混合实验。按查询类型比较增量Recall与成本,不能仅看两路都有返回。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
为什么BM25分数不能直接当余弦分数相加?
参考思路与常见误区
二者尺度和跨查询分布不同,直接相加可能让数值大的路主导。可验证校准或使用排名融合,再用固定业务集评估;原始分数也不是统一置信概率。
常见误区:看到0.8就理解成80%相关。
两路排名a,b,c与b,d,a,c=60时谁在RRF中更高?
参考思路与常见误区
b贡献1/62+1/61约0.032522,a贡献1/61+1/63约0.032266,所以b略高。排名从1开始,未出现在某路贡献0,常数c与返回数k不同。
常见误区:从0开始名次或把缺失文档视为第0名。
为什么RRF之前要做路内去重?
参考思路与常见误区
同一路重复ID不应重复贡献票数,否则切块重复或上游错误能人为抬高结果。跨路命中可以累积,块到文档聚合则需另定义,保留证据段落和轨迹。
常见误区:把同一候选重复三次当三个独立检索器支持。
每路候选窗口扩大,会不会改变RRF结果?
参考思路与常见误区
会。窗口外的文档原先贡献0,扩大后可能进入并得到跨路支持,最终排序会变化。融合无法生成任何一路都没召回的文档,因此需同时记录候选Recall、并集和重叠。
常见误区:认为RRF公式固定就与候选截断无关。
一条检索路超时,应怎样处理与评测?
参考思路与常见误区
设置每路与总deadline,定义是否返回部分结果,并记录降级及来源。不能把单路结果当作完整混合实验;质量和尾延迟评估应包含失败负载与路由误判。
常见误区:等待所有路无限返回,或者静默忽略慢路后仍报告双路质量。
RRF公式及排名窗口参数可核对 Elasticsearch官方说明。