查询改写与扩展:增加检索入口,保住原问题限制
区分独立问题改写、多查询、分解和HyDE,用结构化条件检查发现产品、地域和否定条件漂移。
用户上一轮问X17退款,下一轮问“那华东地区呢”。直接检索第二句可能只找到地域介绍。改写需要补齐指代,得到“X17在华东地区的退款规则”,但不能擅自把“非定制订单”删掉,也不能把2025年的问题改成当前政策。改写是检索辅助,不是重新定义用户意图。
四种操作解决不同困难
独立问题改写把对话指代补成可单独检索的查询。多查询扩展生成同义或不同表述,合并候选以提高覆盖。问题分解把复合任务拆成子问题,例如分别查两款产品的退款条款,再比较;有依赖关系时不能全部并行,因为后一个子问题可能需要前一个的答案。
HyDE先生成一段假设性文档,再把它编码为向量检索真实资料。它利用“像答案的文本”作为检索入口,但假设文档可能包含虚构细节,不应作为事实证据、引用或直接回答。必须回到真实候选验证。HyDE不等于让模型先猜答案再无条件相信。
把不可丢的条件单独保存
例如原问题是“2025华东X17非定制订单如何退款”。可将产品、地域、时间、排除条件提成结构化字段,候选查询必须保留这些约束。字段提取本身也可能错,重要条件应来自已验证的业务表单或可回溯的原文位置,并在歧义时澄清,不能把模型提取结果当作授权事实。
保存为 query_constraints.py,运行 python -X utf8 query_constraints.py。候选是固定夹具;代码验证条件一致,不执行语言模型改写,也不能发现所有自然语言语义漂移。
"""结构化限制检查;生成候选为固定夹具,不调用改写模型。"""
from dataclasses import dataclass
@dataclass(frozen=True)
class Query:
text:str
product:str
region:str
date:str
exclusions:tuple[str,...]
def accept(original,candidate):
fields=('product','region','date','exclusions')
return all(getattr(original,key)==getattr(candidate,key) for key in fields)
if __name__=='__main__':
original=Query('2025华东X17非定制订单如何退款','X17','华东','2025',('定制',))
candidates=[Query('X17华东2025普通订单退货政策','X17','华东','2025',('定制',)),
Query('X17退款政策','X17','全国','2025',()),
Query('X18华东退款','X18','华东','2025',('定制',))]
for candidate in candidates:print(candidate.text,'接受' if accept(original,candidate) else '拒绝:限制漂移')
print('检索查询数',1+sum(accept(original,candidate) for candidate in candidates))X17华东2025普通订单退货政策 接受
X17退款政策 拒绝:限制漂移
X18华东退款 拒绝:限制漂移
检索查询数 2第一条改写只是换措辞,保留字段;第二条把华东扩大为全国并删除定制排除条件;第三条把X17改成X18。后两条被拒绝。系统保留原查询,再添加通过检查的一条,所以检索查询数为2。只检查“文本包含X17”不够:候选可能写成“不适用于X17”,字段相同也不保证自然语言语义一致,仍需要真实反例集。
漂移经常发生在哪里
省略否定词、把“之前”改成“之后”、把价格范围扩大、丢掉版本和地域,都会让候选看起来更通顺但语义错误。多轮历史也可能含已经撤销的要求;应明确当前有效约束,并区分用户事实与工具检索出来的资料。不要把检索文档里的指令当作改写任务的新要求。
查询分解还可能遗漏跨条件关系。“A在条件X下是否比B便宜”不是独立查A和B价格后随意相减;必须保证币种、税费、时间、套餐与范围一致。中间结果应带来源和单位,后续子问题只能使用已确认信息。
成本和预算怎样计算
原查询加n条扩展,可能需要n+1次检索、额外一次改写模型调用,以及更大的融合与重排候选池。并行执行可以缩短等待,但API成本、吞吐压力和总计算不会消失。限制扩展数量、子问题深度、候选去重和总deadline,对超时保持原查询结果作为可解释降级。
改写缓存应包含原查询、有效历史、模型/提示版本和权限相关范围,不能只按最后一句“那这个呢”复用。缓存命中也要考虑业务知识和上下文是否变化。对于精确ID、金额和日期查询,确定性的归一化通常比生成式自由改写更容易验证。
验证改写是否有用
逐查询比较原始检索与改写后检索的相关性、关键限制保留、重复候选、增量成本和延迟。把“原查询已成功却被改坏”的回归单独统计,别只看平均Recall增量。给最终回答保留原始问题,扩展查询用于找证据,不应替换用户真正提出的问题。
综合边界推演与面试追问
对话先指定X17/华东/2025/排除定制,后问“这个能退吗”。独立改写必须补齐这些条件;多查询可换措辞而不删排除项;分解“能否退款及运费谁付”产生两个证据缺口;HyDE生成的假设政策只能用于找真实资料。
保留原查询作为对照,扩展数量和子问题依赖受总预算约束。并行缩短等待但不减少调用费,多查询并集还放大重排。假设文档越具体不代表越真实,不能把HyDE文本当引用。
逐字段核对实体地域日期否定,再抽样检查自然语言语义;字段相同不证明全部意思相同。改写后Recall下降先看约束漂移和指代历史,缓存键需包含有效上下文与权限版本;没有新增证据则停止扩展。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
独立改写、多查询与问题分解分别在解决什么?
参考思路与常见误区
独立改写补齐对话指代;多查询用不同表达扩大候选;分解把复合任务拆成有可能相互依赖的子问题。三者需要保持原始限制,依赖子问题不能无条件并行。
常见误区:把所有改写都当作随便换同义词。
HyDE生成的假设文档能直接作为答案引用吗?
参考思路与常见误区
不能,它是可能含虚构细节的检索中介。编码假设文本后必须检索真实资料,再按真实证据回答和引用,不能把假设当事实。
常见误区:模型先猜出答案后,检索只是装饰。
怎样检测改写丢掉地域、日期或否定条件?
参考思路与常见误区
保留原始问题与已确认结构化限制,对候选逐字段校验并用语义反例补充。字段提取自身也可能错,关键限制应来源可信或可回溯,必要时澄清。
常见误区:只要候选更通顺就覆盖原查询。
多查询并行是否消除了扩展成本?
参考思路与常见误区
没有,只可能缩短串行等待。检索次数、候选融合、重排与模型调用成本仍增加,应限制数量、深度和deadline,保留原查询作为降级,并测增量收益。
常见误区:把并行等同于免费。
为什么不能只缓存最后一句那这个呢?
参考思路与常见误区
这句话依赖有效历史、实体、限制和权限范围。缓存键至少要体现这些上下文及模型/提示版本,并考虑失效;否则不同对话会复用错误改写。
常见误区:相同字符串一定表达相同问题。
假设文档检索方法见 HyDE原论文。实际效果依模型、语料和任务,本文的字段检查不是通用语义验证器。