上下文生命周期:从全部塞入到有依据地选择
上下文生命周期:从全部塞入到有依据地选择,含可执行机制示例、边界与面试追问。
检索已经命中正确政策,模型却给出相反答案。问题可能发生在检索之后:证据被截断、例外条件被拆开、旧规则排在新规则之后,或多轮历史把任务带向别处。上下文工程要追踪信息从哪里来、什么时候进入、为什么留下,以及何时必须移除。
写入、选择、压缩与隔离
写入阶段把消息、工具结果、用户确认和状态变化记录下来;持久日志不意味着每次全部送给模型。选择阶段按当前任务、相关性、时效、权限和来源取用信息。压缩阶段缩短表达但保留关键事实和可追溯引用。隔离阶段区分用户、任务与子任务,避免其他会话的数据或临时推测进入当前决策。
事实、计划和猜测应分开记录。用户明确确认的地址与模型猜测的地址不能同等对待;工具失败应记录失败状态,不能只留下一个看似有效的空结果。每次构建上下文都应能回答某条内容的来源、版本、可信度和权限范围。
预算不是字符数截断
输入预算约束可写为:窗口上限减去输出预留、系统指令、工具Schema与协议开销。最终要对真实序列化消息使用兼容分词器或供应商计数接口;分段计数简单相加可能漏掉聊天模板或边界合并。还要确认接口对输入、输出和推理token的具体限制,不同产品不完全相同。
选择证据时不能只按长度从短到长塞入。主规则与例外条件具有依赖关系,留下规则却丢掉例外会反转答案。可以先保留不可删的契约与当前任务,再按证据组选择;为原文定位、引用ID和必要历史留空间。超限时缩短冗余工具输出、定向检索或拆分任务,比静默截断末尾更可解释。
顺序为什么影响使用效果
Lost in the Middle研究展示了某些模型和任务中信息位置对使用效果的影响,不能据此断言所有新模型都有同样曲线。应在目标模型上把同一证据放在开头、中间、末尾,保持内容和长度可比,测答案与引用是否变化。上下文窗口能接收,不代表每个位置都能被同样可靠地利用。
名称中的“Middle”具体指:在部分长上下文问答实验中,关键证据放在中间时,模型使用它的表现弱于放在开头或末尾,即使证据已经被检索并完整送入模型。这属于证据利用问题,不能只靠增大检索top-k修复。可比较重排关键证据、去重和压缩无关段落、按子问题分段检索再汇总等方案;压缩时保留例外与引用,并以相同证据的位置对照实验验证,避免把丢条件换成表面提分。
将当前问题、关键约束和证据组织成清楚结构;新旧政策明确时间及适用范围。重复高优先级要求可能帮助某些任务,也可能增加干扰,需要消融验证。不要把“放在最后”当通用修复,更不能通过排序覆盖授权规则。
跟做:有限预算下同时保留规则和例外
保存为context_budget.py,运行python -X utf8 context_budget.py。四项成本和值是人工设定,枚举全部子集得到本例的最优组合;这不是实际分词器,也不是经过训练的相关性评分。小规模穷举用于看清约束,生产中大量候选不能直接指数枚举。
"""使用人工token成本做预算选择;不冒充目标分词器计数。"""
from itertools import combinations
CHUNKS=[('rule',4,9),('exception',3,8),('history',5,4),('duplicate',3,2)]
def select(window,output_reserve,fixed):
budget=window-output_reserve-fixed
if budget<0:raise ValueError('固定内容与输出预留已超过窗口')
possible=[]
for count in range(len(CHUNKS)+1):
for items in combinations(CHUNKS,count):
cost=sum(x[1] for x in items)
if cost<=budget:possible.append((sum(x[2] for x in items),-cost,tuple(x[0] for x in items)))
return budget,max(possible)[2]
if __name__=='__main__':
budget,ids=select(14,4,3)
print('可用证据预算',budget,'选择',ids)
print('总窗口',14,'输出预留',4,'固定内容',3)实际运行输出:
可用证据预算 7 选择 ('rule', 'exception')
总窗口 14 输出预留 4 固定内容 314的窗口扣除4的输出预留和3的固定内容,证据预算为7;主规则成本4、例外成本3正好装满,比保留历史或重复材料获得更高人工价值。把窗口改为13后,预算只有6,本程序将单独选择rule,暴露出“价值相加”没有表达规则与例外依赖的问题。
真正业务可以把rule与exception绑定为不可拆的证据组;预算不足时减少其他固定内容或请求澄清,而不是让系统遗漏适用条件。实验中的最优只是给定目标函数最优,目标函数遗漏依赖时,数学最优也可能业务错误。
一次回答的排查顺序
先保存脱敏后的最终上下文快照和版本;确认正确证据是否真的发送、是否被截断、是否属于当前用户;再检查规则冲突与位置;最后才归因模型推理能力。分开记录检索命中率、上下文包含率和回答忠实性,就能定位“找到了却没用上”发生在哪一层。
综合追问:正确证据已召回,模型却遗漏例外,如何定位上下文阶段?
这是给定条件下的机制推演;数值用于解释判断,不是新增线上或模型实测。先独立回答,再核对下面的推理。
展开推理、取舍与排错路径
日志记录全部事件,发送给模型的是按任务选择的视图:写入区分事实与猜测,选择检查来源/权限/时效,压缩保留条件,隔离用户与子任务。窗口14扣输出4和固定内容3,只剩7给证据;主规则4与例外3可一起放入,若只剩6应组合选择或补预算,不能丢例外后仍下确定结论。
先保存最终发送快照而非仅检索列表,核查来源、版本与截断;再用同一证据在开头/中间/末尾做对照,保持内容与长度相当。Lost in the Middle是条件化观察,调顺序可能改善某模型也可能带来新干扰,不应当通用定律。实际token用匹配分词器核对聊天模板和工具开销。面试按写入—选择—压缩—隔离说明每层责任,以可观察快照区分没发送、位置使用差和模型推理错。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
日志与上下文有什么区别?
参考思路与常见误区
日志可保存完整历史;上下文是当前调用经过权限、相关性、时效和预算选择的输入视图。
常见误区:把所有日志每次重放。
上下文预算怎样计算?
参考思路与常见误区
窗口扣输出预留、受信指令、工具Schema和协议开销,再对最终序列化输入核对真实token限制。
常见误区:只按正文字符数。
为何命中正确证据仍答错?
参考思路与常见误区
证据可能没进入最终输入、被截断、丢例外、版本冲突或位置使用不佳;需检查实际发送快照。
常见误区:只归咎检索器。
Lost in the Middle能否当所有模型规律?
参考思路与常见误区
是特定实验条件下的证据;目标模型需做位置控制实验,并检查引用和任务质量。
常见误区:把论文观察无限推广。
背包算法选中最优证据就可靠了吗?
参考思路与常见误区
只对设定价值与成本最优,可能遗漏证据依赖,应把主规则和例外绑定或明确拒绝缺条件决策。
常见误区:把数学最优等同业务正确。