预训练到后训练:数据、目标和能力到底在哪一步改变
用真实的损失计算区分全序列预测和回答监督,建立继续预训练、SFT、偏好优化与检索增强的选择依据。
一个模型不遵守 JSON 格式、不了解新发布的内部制度、总喜欢给出没有证据的结论,这三个问题表面上都叫“模型不好用”,但不一定需要同一种处理。格式和任务行为可以通过示例与监督学习调整;频繁更新的制度更适合有来源、可撤回的检索;偏好数据可以调整回答取舍,却不能自动补齐缺失事实。
训练阶段的名字只是入口。真正要问的是:输入数据长什么样、哪个位置计入损失、目标信号来自哪里、更新了哪些参数,以及用什么未见数据验证改善。
自回归目标如何连接数据与参数
设训练序列为 x₁…xT。语言模型把整段概率分解为逐位置的条件概率乘积;实际优化常用负对数似然之和或均值:
P(x₁…xT) = Π Pθ(x_t | x_<t)
loss = - Σ mask_t × log Pθ(x_t | x_<t) / Σ mask_tθ 表示模型参数,mask_t 决定哪些标签位置参与损失。正确 token 的预测概率从 0.1 提高到 0.9,单位置损失从约 2.303 降到 0.105。交叉熵会强烈惩罚自信却选错类别的预测;它优化训练分布上的预测,并不直接计算业务答案的真实性。
训练时整条序列可用,但因果掩码阻止未来输入泄漏,标签与输出对齐为下一 token。梯度经过输出层、Transformer 等参数回传,优化器再更新权重。分词、标签偏移、padding、样本拼接边界和损失 mask 中任意一项错了,都可能让曲线下降却学到错误任务。
四类阶段怎么衔接
预训练通常在大规模文本等数据上学习广泛统计结构和知识。继续预训练从已有权重出发,在新增或领域语料上继续相似的语言建模目标,可能增强领域表达,但也可能遗忘通用能力;需要混合数据、合理学习率和回归评测。
SFT 使用任务输入与示范输出,把模型引向期望的回答方式。聊天训练可以对全序列计算损失,也可以只对 assistant 的回答位置计算;具体训练器配置与模板必须确认。仅回答监督仍允许模型读取 prompt,mask 为零表示不把该位置标签计入损失,不是把 prompt 从上下文删掉。
偏好优化使用同一问题下较好/较差的回答等信号。DPO 等方法利用成对偏好和参考策略调节相对概率;奖励模型配合策略优化则有额外的奖励训练、采样与优化环节。两者与 SFT 的监督信号不同,不能因为都属于后训练就混用公式。推理时让模型反思,也不自动等于对参数做强化学习。
蒸馏是知识/行为迁移方式,可以把强模型生成的轨迹或概率信号用于学生训练,不是必须排在最后的独立固定阶段。LoRA 是参数更新方式,可以用于 SFT 等任务;它同样不定义数据目标。应将“训练阶段、优化目标、参数更新技术”分开说。
手算一个容易被忽略的 mask 差异
假设四个位置对正确下一 token 的预测概率依次为 0.9、0.8、0.4、0.2,后两个属于回答。全序列平均损失约为 0.714;只监督回答时约为 1.263。后者较高,不意味着模型变差,只是容易预测的输入位置不再拉低平均值。比较训练曲线时必须统一损失定义、分词器与数据分布。
将以下程序保存为 objectives.py,运行 python -X utf8 objectives.py。Windows 可用 py -3.13 -X utf8 objectives.py。它计算固定概率的目标值,不加载或训练大模型。
"""固定 token 概率的损失算例;不训练语言模型。"""
from math import log
def cross_entropy(probabilities, mask):
if len(probabilities) != len(mask) or not any(mask):
raise ValueError('长度必须一致且至少有一个计入损失的 token')
if any(not 0 < p <= 1 for p in probabilities):
raise ValueError('目标 token 的概率必须在 (0,1]')
return -sum(log(p) for p, keep in zip(probabilities, mask) if keep) / sum(mask)
if __name__ == '__main__':
# 四个位置对“下一 token 正确标签”给出的概率,不是一个词表分布。
probabilities = [0.9, 0.8, 0.4, 0.2]
print('全序列目标', round(cross_entropy(probabilities, [1,1,1,1]), 6))
print('仅回答目标', round(cross_entropy(probabilities, [0,0,1,1]), 6))
print('正确标签概率 0.9', round(-log(0.9), 6))
print('正确标签概率 0.1', round(-log(0.1), 6))全序列目标 0.713558
仅回答目标 1.262864
正确标签概率 0.9 0.105361
正确标签概率 0.1 2.302585把 mask 全部改为零应报错,否则没有可学习的目标。把回答概率改成 0.9、0.8,只回答损失会下降,说明改变的是目标位置的预测。真实训练还应抽样解码 input_ids 和 labels,直接检查 assistant 起止位置、EOS、截断是否误删答案,而不只看张量形状。
数据清洗为何是训练的一部分
原始语料要检查来源许可、隐私、编码、语言分布、重复、低质模板以及评测集污染。去重不只节省算力,还降低记忆重复文本和虚假泛化的风险。按文档或来源拆分训练与验证,避免同一文章的近似段落跨集合。单纯随机按行切分,往往挡不住泄漏。
任务数据还需检查矛盾示范:同一条件一条要求拒答、一条要求编造,模型无法从相同输入识别该采用哪个行为。把关键业务条件放进输入、统一标注规则,比直接扩大样本数更有意义。回答中无意包含测试答案、订单隐私或训练专用标记,也可能被模型学会。
数据质量不能只用模型打分。用人工样本复核自动过滤的误删与漏删,记录来源版本和过滤原因;保留领域、长度和难度切片,以免平均分好看却丢掉关键少数场景。
把训练决策落到具体故障
对于“内部制度每周更新”,先考虑可更新检索和来源约束;对于“输出格式偶发错误”,先检查结构化解码、schema 校验与提示,再评估是否需要 SFT;对于“知道事实却总给冗长或不合规范回答”,用明确示范或偏好信号调整行为。对专业语料理解弱且有稳定高质量语料时,继续预训练才有更充分动机。
每次更新要保留未参与训练和调参的测试集,分开报告领域任务、通用能力、安全、拒答和延迟成本。训练损失下降、验证困惑度下降、业务通过率提高是相关但不等价的证据。后训练可能改变回答风格并提升任务完成率,但不能保证消除幻觉,也不能突破缺失信息本身的限制。
综合追问:业务制度每周更新,是否应该继续预训练,再做SFT?
这是给定条件下的机制推演;数值用于解释判断,不是新增线上或模型实测。先独立回答,再核对下面的推理。
展开推理、取舍与排错路径
先区分目标:预训练用大规模语料学下一token分布,继续预训练延续领域文本目标,SFT用示范回答调整指令行为,对齐再利用偏好或奖励。动态制度通常需要可更新可引用的检索;训练可改善使用证据的行为,但把每周事实写进参数难撤回、难核对。LoRA是更新方式,不是这些阶段之后必做的一阶段。
同一概率序列上,全token均值与仅回答mask均值不同,loss变大可能只是移除了容易预测的用户文本;先打印input_ids、labels及assistant边界。清洗需检查许可、编码、重复和评测污染,过度过滤也会损失稀有领域数据。按来源/时间分组验证,发现同文档跨集合先重划而非继续调学习率。面试按数据、监督位置、更新目标、独立评测四项说明决策。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
SFT 只计算回答损失,模型还能读取用户问题吗?
参考思路与常见误区
能。用户问题仍在因果上下文中,回答位置的预测依赖它。mask 为零只是对应标签不参与损失,不是删除输入或禁止注意力。应检查实际 input_ids、labels 和 assistant 边界。
常见误区:把 loss mask 与 attention mask 混用,导致模型看不到问题。
继续预训练、SFT、LoRA 与 DPO 是四个必须依次执行的阶段吗?
参考思路与常见误区
不是。继续预训练和 SFT 描述数据与任务阶段,DPO 是成对偏好优化目标,LoRA 是参数更新方式,可用于不同训练目标。需要先决定要改变什么能力与信号,再选择实现。
常见误区:仅按名词排序设计训练流程,没有定义数据和目标。
内部制度每周变化,为什么不能默认用微调记住它?
参考思路与常见误区
参数更新成本、时效与可撤回性使微调未必合适。检索可提供最新且可引用的证据;训练可改善使用证据的行为,但仍要保证权限、版本和拒答。应按稳定知识与动态事实分开设计。
常见误区:把训练当数据库更新,认为新事实必定精确覆盖旧事实。
从全序列损失改为仅回答损失后,loss 上升能说明退步吗?
参考思路与常见误区
不能直接比较。删除容易预测的 prompt 标签后,平均值基于不同位置。要统一数据、分词和 mask,另看未参与训练的任务表现。示例全序列0.713558与回答1.262864来自同一组概率。
常见误区:只比较两个损失数字,不检查分母与监督位置。
随机按行切分训练和测试为什么可能泄漏?
参考思路与常见误区
同文档相似段落、重复文本或改写样本可能进入两个集合。应该按文档/来源分组,并做近重复和时间边界检查;评测集不参与清洗规则调优及示例生成,避免间接泄漏。
常见误区:认为随机种子固定就保证独立测试。
参考 SFT Trainer、DPO 原始论文。下一步读 规模增长与评测阈值,学习如何解释模型能力曲线。