优化路线选择:先归因,再决定Prompt、RAG还是训练
用配对消融区分知识缺失、行为不稳定和偏好问题,建立训练投入、收益门槛与回滚基线。
模型答错“最新退款规定”,不一定需要微调。证据没检索到、模板把证据截掉、工具返回了旧数据,都可能导致同一个错误答案。训练前先把失败分到数据、检索、提示、模型能力、工具执行和评测这几层,否则训练可能只是让错误回答更稳定。
各种路线实际改变什么
Prompt改变本次输入与约束,不更新参数,适合任务表达、输出格式和少样例示范;代价是输入长度、维护复杂度以及对上下文的依赖。RAG把外部证据带到输入中,适合变化知识、可引用资料和权限隔离;它要求解析、索引与检索链正确,不自动提高复杂行动能力。
SFT用示范让模型提高目标回答的条件概率,适合稳定风格、格式和任务行为。DPO等偏好学习比较同一提示下的优选与劣选响应,适合已有候选行为间的偏好调整。RL通过环境或奖励反馈优化策略,适合可以获得可信反馈的决策问题,但需要rollout、奖励审计和更复杂的稳定性控制。路线可以组合,不能只按名字排成必须依次升级的阶梯。
知识频繁变化时,把事实写进权重难以精确更新和删除;参数学习也不替代访问权限。格式错误若可由schema约束与解析修复,先验证这些低成本方法。只有错误在输入充分、检索正确、工具正常时仍稳定出现,才更有理由评估行为训练。
基线与收益怎样计算
冻结任务集、指标、评测器、模型版本、采样参数、候选数和工具环境。成功率是成功任务数除以任务数;配对比较同时报告新增成功和新增失败,净收益等于两者差除以任务数。10个任务里修好3个却破坏2个,净提升只有1个,不能只报告“修复3个”。
更贴近业务的目标可以写成:期望效用 = 任务价值×成功概率 − 调用成本 − 延迟代价 − 失败损失。数值需要业务定义,不能从benchmark直接换算。训练总成本还包括数据采集、去重、标注、审计、GPU、评测、部署和版本维护;只比较一次训练账单会漏掉大部分长期投入。
先做单因素消融,例如只改检索,不改模型;只改提示,不改候选数。再组合已经有证据的改动。若同时换基础模型、训练数据、采样温度和reranker,就无法判断哪个因素带来提升。小样本波动大,应看配对差异、置信区间和跨类别表现,而不是一两个样例。
跟做:训练候选无法修复未召回证据
Python 3.11+保存 route_ablation.py,运行 python route_ablation.py。所有成功与失败都为人工固定夹具,程序演示配对统计,不是实测模型效果,也不支持“某算法优于另一算法”的结论。
"""固定任务夹具的配对消融;不是模型测评,不据此推荐某训练算法。"""
CASES = ['retrieval', 'retrieval', 'format', 'format', 'preference', 'tool']
RUNS = {'base': [0, 0, 0, 1, 0, 0], 'retrieval_fix': [1, 1, 0, 1, 0, 0],
'prompt_fix': [0, 0, 1, 1, 0, 0], 'sft_candidate': [0, 0, 1, 1, 1, 0]}
def compare(base, candidate):
if len(base) != len(candidate) or not base:
raise ValueError('paired cases required')
return {'wins': sum(a < b for a, b in zip(base, candidate)),
'regressions': sum(a > b for a, b in zip(base, candidate)),
'success': sum(candidate), 'total': len(candidate)}
if __name__ == '__main__':
for name, values in RUNS.items():
print(name, compare(RUNS['base'], values))
print('retrieval failures after sft:',
sum(kind == 'retrieval' and not ok for kind, ok in zip(CASES, RUNS['sft_candidate'])))实际输出:
base {'wins': 0, 'regressions': 0, 'success': 1, 'total': 6}
retrieval_fix {'wins': 2, 'regressions': 0, 'success': 3, 'total': 6}
prompt_fix {'wins': 1, 'regressions': 0, 'success': 2, 'total': 6}
sft_candidate {'wins': 2, 'regressions': 0, 'success': 3, 'total': 6}
retrieval failures after sft: 2检索修复与SFT候选的总成功数可能相同,但修复类别不同。SFT候选仍留下两个retrieval失败;如果业务主要问题是知识召回,应该先查证据链。把某个原来成功的1改成0,可以观察regressions增长;不能只记录wins。
训练决策和停止条件
进入训练前至少准备可信示范或偏好、独立验证集、目标能力指标、通用能力与安全回归集。预先设定成本上限和最小收益,避免已经花钱后再为结果改评分规则。训练集不足时先补数据质量,而不是盲目增加epoch。
部署以模型、adapter、tokenizer、模板和推理参数组成完整版本。灰度观察成功率、拒答、工具错误、延迟与费用;超过回退阈值时恢复旧组合。回滚只换权重但保留新模板,可能不能恢复旧行为。
SFT与DPO的实际训练接口分别见 TRL SFTTrainer 和 DPOTrainer。本节的可运行部分只完成路线诊断统计,不含GPU训练或业务收益实证。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
什么证据支持微调而不是先修检索?
参考思路与常见误区
在证据正确且完整、提示和工具契约有效时,行为错误仍稳定出现,并且已有可信示范与独立验证集;单因素对照支持训练改善目标能力。
常见误区:看到错误答案就直接训练。
Prompt、RAG、SFT分别改变哪一层?
参考思路与常见误区
Prompt改变当前输入,RAG补充外部证据,SFT更新参数中的行为分布;三者可组合但不能互相替代权限和数据更新机制。
常见误区:把动态事实全部写进权重。
修复3题又破坏2题应怎样报告?
参考思路与常见误区
在同一配对集上报告wins=3、regressions=2与净提升1题,并说明样本量和类别;不能只报修复数。
常见误区:用新增成功掩盖退步。
训练成本为何不只看GPU账单?
参考思路与常见误区
还包含数据、标注审计、评测、部署、回归和长期版本维护;应与线上成功任务成本和收益共同比较。
常见误区:忽略数据和运维投入。
回滚为什么要恢复模板和推理配置?
参考思路与常见误区
模型行为由权重、adapter、tokenizer、模板及采样共同决定,旧权重配新模板未必恢复旧行为。
常见误区:只替换权重文件即可。