Reranker 与上下文压缩:候选内重排,条件不能压丢
理解Bi-Encoder与Cross-Encoder的计算差别,验证候选上限、抽取来源和例外条件保留。
初检返回一百个可能相关的块,模型上下文只放得下其中几条。重排负责在候选中判断哪些更有用;压缩负责在选中内容里保留回答需要的信息。它们都是下游处理,不能凭空找回初检从未提供的证据。
Bi-Encoder为什么适合大库召回
Bi-Encoder分别编码查询与文档,文档向量可以提前计算并建立索引。查询时只编码一次,再计算向量相似度,因此适合大规模候选生成。独立编码意味着每个文档表示不针对当前问题做逐token交互,可能把细粒度否定或条件差异压缩掉。
Cross-Encoder把查询和候选文档一起输入模型,让两边在编码时交互,通常为每对输出相关性分数。不能像单一文档向量那样一次预计算供所有查询复用;N个候选就有N个查询—文档对需要处理。分数可能是logit或经激活后的值,是否为校准概率取决于训练和校准,不能看到0.9就宣称九成正确。
用固定分数检查管道职责
保存为 rerank_compress.py,运行 python -X utf8 rerank_compress.py。分数是人工设置的控制变量,不是Cross-Encoder推理结果;程序只验证排序作用范围及句子抽取行为。
"""固定重排分数用于验证候选边界和抽取保真,不是CrossEncoder推理。"""
DOCUMENTS={'a':'普通订单七天内可退款。定制商品不适用。','b':'退款状态可在订单页查询。','c':'定制商品不可退款。'}
SCORES={'a':.8,'b':.2,'c':.95}
def rerank(candidates):return sorted(dict.fromkeys(candidates),key=lambda key:(-SCORES[key],key))
def extract(doc_id,sentence_indexes):
sentences=[part+'。' for part in DOCUMENTS[doc_id].split('。') if part]
return [{'source':doc_id,'sentence':i,'text':sentences[i]} for i in sentence_indexes]
if __name__=='__main__':
print('候选仅a/b',rerank(['b','a']))
print('候选包含c',rerank(['b','a','c']))
print('只抽主句',extract('a',[0]))
print('主句与例外',extract('a',[0,1]))候选仅a/b ['a', 'b']
候选包含c ['c', 'a', 'b']
只抽主句 [{'source': 'a', 'sentence': 0, 'text': '普通订单七天内可退款。'}]
主句与例外 [{'source': 'a', 'sentence': 0, 'text': '普通订单七天内可退款。'}, {'source': 'a', 'sentence': 1, 'text': '定制商品不适用。'}]候选只有a/b时,c分数再高也不能出现。加入c后它才排第一。这就是初检Recall对重排的上限。a的第一句说普通订单七天内可退款,第二句排除定制商品;只抽第一句可能把例外丢掉。程序保留句子索引和来源ID,但不自动理解依赖关系,是否必须一起保留要由任务规则或经过验证的压缩方法决定。
候选量、批处理与截断
初检候选越多,可能覆盖更多相关项,也增加重排成本。先测初检Recall随候选数变化,再选重排窗口。批处理能提高硬件利用率,但不同长度的查询—文档对padding浪费不同;按长度分桶可能有效,也要考虑排队延迟。总deadline中还需为生成留时间,不能让重排无限等待。
模型有最大输入长度。若查询占用很多token,候选可用长度减少;把文档尾部关键条件截断后,重排器仍会输出一个看似精确的分数。应检查token化后的输入和截断策略,必要时采用分段评分或结构保留,但多段聚合方法也需要评测,不能仅取最高段就忽视相反证据。
压缩方式改变风险
抽取式压缩保留原文句子或span,方便追踪,但跨句指代、单位和例外可能在被删部分。生成式压缩能把信息重组得更短,却可能引入新事实或把“不得”改成“可以”。应保留原始证据ID与span映射,对金额、日期、否定、实体和适用范围做针对性回归。
压缩后的token数应使用实际生成模型tokenizer计算,包含标题、引用和包装。不能用字符压缩率代替上下文预算,也不能只以更短作为成功。比较压缩前后答案支持度、关键条件保留和信息覆盖,同时记录成本;必要时保留未压缩证据用于核验和回退。
阈值不能越过权限
相关性高并不代表有访问权。权限应在候选产生时和最终上下文阶段由可信代码执行,重排分数不能覆盖它。无答案阈值要用真实正负查询校准,注意模型、语料或候选窗口变化会改变分布。遇到边缘分数可以返回检索结果、请求补充条件或拒答,具体策略按业务错误成本确定。
综合边界推演与面试追问
初检候选a/b,c真实最相关但不在集合,Cross-Encoder再强也只能排a/b。查询和候选联合编码允许词间交互,Bi-Encoder则可离线保存文档向量。候选含“普通7天可退;定制除外”,只抽第一句会改变政策。
增大候选量与batch可能改善覆盖或吞吐,也增加显存、填充与等待;关键条件在末尾被模型截断时,高分不意味着看过全文。阈值需在任务集校准,相关分高不能覆盖权限或适用渠道限制。
先核对初检是否包含gold,再检查实际token序列、截断和分数校准,最后看压缩的原句span与条件依赖。空候选要明确无证据,不能访问ranked[0];压缩节省token与引用支持率应一起验收。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
Bi-Encoder与Cross-Encoder的在线成本差别来自哪里?
参考思路与常见误区
Bi-Encoder可离线编码文档,查询只编码一次再检索;Cross-Encoder对每个查询—候选对联合编码,允许细粒度交互却不能直接复用独立文档向量,成本随候选数和长度增长。
常见误区:把Cross-Encoder当换一种向量距离函数。
候选只有a、b,重排能返回真正相关的c吗?
参考思路与常见误区
不能,重排只能调整已提供候选。需要先修初检召回或扩大有效候选,再测试重排窗口与成本。候选完整性是下游质量上限。
常见误区:认为更强重排模型能搜索它没收到的全库文档。
抽取原句为什么仍可能造成事实错误?
参考思路与常见误区
原句可能依赖被删掉的例外、单位、指代和适用范围。即使字没改,删去条件也改变回答含义,应保留span来源并检查逻辑依赖。
常见误区:只要是原文复制就不会失真。
重排分数很高但条款尾部被截断,如何排查?
参考思路与常见误区
查看查询—文档实际token序列与最大长度,确认关键条件是否进入模型。调整结构保留或分段评分并做反例评测,不能把高分解释成模型看过完整文档。
常见误区:只检查传入的原始字符串长度。
压缩方案应该看哪些指标,而不只是压缩率?
参考思路与常见误区
看关键实体、数字、否定和条件保留,引用映射、最终答案支持度、覆盖、token成本和延迟。使用生成模型tokenizer计算预算,必要时保留原始证据回退。
常见误区:越短越好,字符数下降就代表上下文优化成功。
召回与交叉编码重排的分工参考 Sentence Transformers Retrieve & Re-Rank。下一篇处理 引用、冲突与拒答。