引用、冲突与拒答:链接存在不等于结论有依据
把事实声明绑定到证据版本,区分有效期与发布时间,运行冲突和无答案分支。
答案写“退款期限30天”,旁边链接确实能打开,但文档写的是14天。这不是引用格式问题,而是证据支持问题。可验证回答需要同时满足:引用ID真实、来源对当前用户可见、来源版本适用、段落确实支持这条结论,以及重要声明没有遗漏依据。
引用应该跟随具体声明
将回答拆成可核对的事实声明,例如“普通订单退款14天”和“定制商品不适用”是两条。每条绑定本次检索的文档ID、版本和必要段落/页码,而不是整篇末尾放一个资料列表。多个来源可以共同支持复合结论,但不能把支持A的来源误当支持B。
引用正确性关注所引证据是否支持声明,引用覆盖关注需要依据的声明是否都提供支持。来源可信度又是另一维度:内部草稿与正式制度即使文字一样,适用地位可能不同。模型生成的URL不应直接视作可信引用,服务端应使用已有来源映射解析受控引用ID。
时间冲突先分清是哪一种时间
文档发布时间、采集时间、修订时间与政策生效时间可能不同。查询“2024年的退款期限”时,最新网页不一定是答案。需要根据查询时间和业务适用范围选择有效版本,不能简单取最大updatedAt。区域、产品、合同类型和客户级别也会使两条不同规则同时正确。
如果两个同等权威来源在同一范围与有效期内互相矛盾,应展示冲突并暂缓确定结论,或按已定义的权威优先级处理。不能让模型自由选择听起来更合理的一条。所谓“多数来源一致”也可能只是同一个原始错误被重复转载,来源独立性要单独考虑。
运行结构化事实校验
保存为 citation_policy.py,运行 python -X utf8 citation_policy.py。示例使用整数日期和结构化days字段,验证来源、范围与冲突分支;它不判断任意自然语言是否蕴含某个答案。真实系统可使用结构化约束、人工审核或经过校准的证据判定方法组合。
"""结构化事实的来源/时间/冲突检查;不判断任意自然语言蕴含。"""
from dataclasses import dataclass
@dataclass(frozen=True)
class Evidence:
id:str
scope:str
valid_from:int
valid_to:int|None
days:int
def resolve(evidence,scope,at):
active=[e for e in evidence if e.scope==scope and e.valid_from<=at and (e.valid_to is None or at<e.valid_to)]
if not active:return {'state':'无证据','days':None,'sources':[]}
if len({e.days for e in active})>1:return {'state':'冲突待核对','days':None,'sources':[e.id for e in active]}
return {'state':'可回答','days':active[0].days,'sources':[e.id for e in active]}
def supported(claim_days,cited_ids,evidence):
by_id={e.id:e for e in evidence}
return bool(cited_ids) and all(key in by_id and by_id[key].days==claim_days for key in cited_ids)
if __name__=='__main__':
docs=[Evidence('old','普通',20240101,20250101,7),Evidence('new','普通',20250101,None,14)]
print('2024查询',resolve(docs,'普通',20241001))
print('2025查询',resolve(docs,'普通',20251001))
print('真实ID错误结论',supported(30,['new'],docs))
print('无证据',resolve(docs,'定制',20251001))
print('同范围冲突',resolve(docs+[Evidence('conflict','普通',20250101,None,30)],'普通',20251001))2024查询 {'state': '可回答', 'days': 7, 'sources': ['old']}
2025查询 {'state': '可回答', 'days': 14, 'sources': ['new']}
真实ID错误结论 False
无证据 {'state': '无证据', 'days': None, 'sources': []}
同范围冲突 {'state': '冲突待核对', 'days': None, 'sources': ['new', 'conflict']}旧政策在2025年1月1日前有效,新政策从当天起生效,区间采用左闭右开以免边界同时命中。2024查询返回7天,2025查询返回14天。引用new却声称30天,会被字段比较拒绝;定制范围没有证据返回无证据;同范围新增30天来源会进入冲突状态。
函数 supported 只比较days与ID,不包含范围和时间判断,必须与前面的适用性筛选结合。这个分离提醒我们,单个校验器通过不能覆盖整条链路。真实回答含多个数字、单位和条件时,需要逐声明关联,不能仅看某个数字在文档中出现过。
无答案阈值怎样定
检索分数与重排分数不是统一正确率。应准备有答案、无答案、近似但不适用、过时和冲突查询,比较阈值下的错误回答率与可回答覆盖率。阈值越高可能减少冒答,也可能拒绝更多本来有答案的问题,选择取决于错误成本。
无答案至少分三类:知识库没有资料、系统没检索到、证据互相矛盾。对用户可以简明说明缺少哪类依据,并给出补充信息路径;内部日志要区分原因以便修复。检索失败不证明事实不存在,拒答文案不应把“当前没找到”说成“世界上没有”。
事实核对放在输出前后哪里
可以让生成器只引用给定ID,输出后解析声明与引用,再核对来源、范围、时间、关键数值及支持度。不通过时重写、缩小结论或拒答,重试必须有限次并保留失败原因。流式输出如果先把未经核对的结论发给用户,后续校验失败只能更正,无法撤回已经看到的信息;对高要求场景可先形成完整候选再验证后展示。
评测要同时看答案正确、引用支持、引用覆盖和适当拒答,不能用“带引用的回答比例”替代质量。真实试读还应检查用户能否打开来源、定位对应段落并理解版本适用条件。
综合边界推演与面试追问
2024政策7天,2025起14天,查询2024订单应选择当时适用版本,而非抓取时间最新。若同一范围同时有效的两份资料分别写7和14,则保留冲突;引用真实v2却回答30天仍是不受支持的声明。
多来源一致可以增加证据覆盖但不自动独立可靠,转载可能来自同一错误源。拒答阈值降低错误回答也会损失可回答覆盖,需分别测试无答案、冲突、版本错配和正常题。
逐声明检查来源ID、具体段落、有效期、产品地域和当前权限,再判断支持关系。引用能打开只证明链接可达;结构字段比较不能处理所有自然语言蕴含,关键数字与例外可程序校验,其余需要校准评审或人工核对。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
链接真实存在,为何仍可能是错误引用?
参考思路与常见误区
来源可能不支持具体声明、版本不适用或对用户无权。需要逐声明绑定证据段落并验证范围、时间和支持度,不能仅检查URL能打开。
常见误区:有链接等于有依据。
问2024年的规则,应该直接取最新文档吗?
参考思路与常见误区
不一定。需区分发布时间、采集时间与政策有效期,并结合产品/地域等范围选择当时适用版本。最新修订可能只适用于2025年以后的订单。
常见误区:updatedAt最大就能回答所有历史问题。
两份同等权威材料在同范围同时间冲突,怎么办?
参考思路与常见误区
按明确的权威和有效期策略处理;无法消解时展示冲突并暂缓确定结论或转人工核对。不能自由猜选一条,也不能把重复转载当独立多数证据。
常见误区:让生成模型选更符合常识的数字。
引用正确性和引用覆盖有什么区别?
参考思路与常见误区
正确性关注所引材料是否支持相应声明;覆盖关注应有依据的重要声明是否都得到支持。一个答案可能引用都正确但漏掉半数声明,或引用很多却不支持结论。
常见误区:只统计带引用句子的比例。
无答案阈值与流式输出应怎样协调?
参考思路与常见误区
用有答案、无答案、过时和冲突集校准错误回答与覆盖的取舍。流式先发结论后验错无法撤回已读内容,高要求场景可先验证完整候选再展示,并限定重试、解释当前证据不足。
常见误区:把没检索到说成事实不存在,或先输出再校验却宣称全程已验证。
引用质量的系统评测可参考 ALCE论文。本文采用原创规则例子,不复现其基准成绩。