训练评测与部署:loss、业务回归和模型版本要一起验收
用独立测试、错误分类和部署manifest避免过拟合与adapter错配,设计导出、灰度和回滚。
训练loss从1降到0.3,业务成功率却下降,并不矛盾。loss衡量当前数据和mask下的token预测,业务指标还依赖生成、工具、检索、权限与任务完成。验收必须把训练曲线、独立行为和部署组合连起来。
曲线能告诉什么
训练loss下降、验证loss上升可能提示过拟合,也可能由分布、模板或mask不一致导致。两条loss都下降但业务变差,需检查指标错位:模型更会模仿示范措辞,却更少调用工具或更容易过度拒答。不同长度、mask和归一化口径的loss不能直接横比。
同时记录有效token数、学习率、梯度范数、更新步、数据版本和评测设置。训练突然NaN先查数值精度、学习率、异常样本和零有效标签;评测大幅波动先查随机采样、候选数和评测器变化。不要在看过测试结果后选择最有利的指标。
错误分类与独立测试
至少区分格式失败、事实错误、检索证据不足、工具参数错误、权限越界、步骤遗漏、拒答不当和超预算。按任务、语言、长度和难度切片,防止总体平均掩盖关键群体退步。固定同一输入做配对比较,检查新增成功与新增失败。
训练集用于更新,验证集用于选择,测试集用于最终验收;线上灰度再观察真实分布。测试数据若反复用于挑checkpoint,就不再独立。对于模型裁判指标,保留裁判版本与人工抽样,避免裁判升级造成虚假提升。
质量门禁可以包含硬约束与软指标。关键越权一次就可能拒绝候选,即使平均成功率更高;具体阈值应由业务风险设定。统计上,小样本零失败不证明风险为零,需报告样本量和覆盖范围。
导出不是只复制一个文件
adapter需要匹配base revision、目标模块、tokenizer和chat template;词表改变时embedding或输出head也可能需要保存。导出manifest应记录训练数据与配置哈希、库版本、精度、量化方式、adapter版本、合并状态和评测证据。
恢复训练checkpoint通常包含optimizer与scheduler等状态;部署包可能只包含推理所需文件,两者不能互相替代。加载时检查缺失或多余键,不要静默忽略关键层。量化或合并后重新测数值与任务行为,训练环境成功不保证推理后端相同。
灰度固定用户分流与版本标记,观察延迟、费用、工具失败、拒答和成功率。回滚恢复整套组合以及相关缓存,避免旧权重配新模板。若输出会触发业务动作,还需确认新旧工具schema兼容。
跟做:最低训练loss并非可部署候选
保存 training_gate.py,Python 3.11+执行 python training_gate.py。曲线与成功率是人工固定夹具,演示门禁和选择逻辑,不是真实训练结果。
"""训练曲线和部署manifest校验;数据是固定夹具,不是实训指标。"""
REQUIRED = {'base_revision', 'adapter_revision', 'tokenizer_revision', 'template_hash'}
def validate_manifest(manifest, expected_base):
if not REQUIRED <= manifest.keys(): raise ValueError('incomplete manifest')
if manifest['base_revision'] != expected_base: raise ValueError('base revision mismatch')
def select(checkpoints):
eligible = [c for c in checkpoints if c['safety_failures'] == 0]
if not eligible: raise ValueError('no checkpoint passes gate')
return max(eligible, key=lambda c: c['validation_success'])
if __name__ == '__main__':
checkpoints=[{'epoch': 1, 'train_loss': 1., 'validation_success': .8, 'safety_failures': 0},
{'epoch': 2, 'train_loss': .6, 'validation_success': .75, 'safety_failures': 0},
{'epoch': 3, 'train_loss': .3, 'validation_success': .9, 'safety_failures': 1}]
print('selected:', select(checkpoints))
manifest={'base_revision':'base-a','adapter_revision':'adapter-1',
'tokenizer_revision':'tok-a','template_hash':'template-a'}
validate_manifest(manifest, 'base-a'); print('manifest: compatible')
try: validate_manifest(manifest, 'base-b')
except ValueError as error: print(str(error))实际输出:
selected: {'epoch': 1, 'train_loss': 1.0, 'validation_success': 0.8, 'safety_failures': 0}
manifest: compatible
base revision mismatchepoch3成功率最高但有硬门禁失败,被排除;epoch2训练loss更低但验证成功率更差,选择epoch1。实际工程还应做多种子或置信区间分析,示例故意简化为确定数值。
manifest匹配base-a时通过,要求base-b时拒绝。这里只验证字段和值,不检查文件签名、张量形状或模型质量;完整部署验收需要真实加载与回归。本节没有加载真实模型或完成灰度部署。
PEFT保存结构可查 checkpoint说明,训练评估接口见 SFTTrainer。把每次失败变成可重复样例,比只保存一张曲线截图更有用。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
loss下降而业务变差先查什么?
参考思路与常见误区
mask与模板口径、数据分布、过拟合、生成参数及指标错位,再按格式、事实、工具、拒答等切片。
常见误区:loss是唯一正确性指标。
checkpoint应该用哪个集合选择?
参考思路与常见误区
用验证集与预定门禁选择,最终测试集在方案固定后验收;反复看测试调参会污染独立性。
常见误区:挑测试分最高的epoch再报告测试分。
adapter部署manifest应绑定什么?
参考思路与常见误区
base与adapter revision、tokenizer、模板、模块、精度/量化、合并状态及评测证据,必要时附文件哈希。
常见误区:只有adapter文件名即可。
安全门禁失败但平均成功率更高能直接上线吗?
参考思路与常见误区
不能绕过预定硬约束;分析失败并修复后重新验证,报告样本量和关键分组表现。
常见误区:平均分覆盖所有风险。
导出成功后为什么还要推理回归?
参考思路与常见误区
后端、量化、合并、模板或加载缺键会改变行为,必须在实际部署组合验证。
常见误区:训练环境能保存就说明推理可用。