Scaling 与涌现:能力曲线是怎样被测出来的
区分训练预算、数据质量和推理成本,用连续概率与离散门槛的算例审视涌现、幻觉和知识截止。
“参数扩大一倍,能力就提升一倍”没有明确含义。参数量、训练 token、计算预算、数据质量和评测方法都影响结论。讨论规模时,先明确比较的是训练损失、某项任务通过率、部署成本,还是某个用户场景的实际收益。
固定计算预算为什么不能只加参数
Scaling Laws指在一定模型族、数据与实验范围内,训练或验证损失随参数、数据、计算增长呈可拟合规律。常用示意形式为 L(N,D)=L∞+A/N^α+B/D^β,其中不可约项及系数/指数要由实验估计,不是通用常数。它帮助用小规模试验预测预算分配与收益递减;超出训练范围、改变架构或数据分布后,拟合可能失效。下面的算例没有拟合这些指数,只展示预算乘积和指标阈值效应。
对某些稠密 Transformer 训练,一个常用粗略估算是训练计算 C 与参数量 N、训练 token 数 D 的乘积成正比,常写成约 6ND。这是忽略部分细节的数量级估计,不适用于任意架构或长度下的精确预算。长序列注意力、激活重算、硬件利用率和通信都会影响实际时间。
如果把 N 增大而保持 C,D 通常要减小。模型更大却训练数据更少,不保证损失更好。规模定律研究尝试拟合在给定训练计算下 N、D 的分配,而不是宣布唯一永恒的最佳比例。Chinchilla 的结论来自特定模型族与实验范围;应用工程师应理解预算分配思想,不能把其经验比例套到所有新数据和架构上。
同样训练预算下,7×400、14×200、28×100 的 ND 相同,表示三个可能的模型/数据规模组合。它们不是性能相同:最优点由数据和模型决定。重复同一批低质文本不等于提供同样数量的新信息;数据去重、领域覆盖和合成质量会改变有效数据价值。
训练最优不一定是部署最优
训练一次、服务数十亿次的模型可能值得投入更多训练数据,以换取更小模型的推理成本。训练计算最优只优化训练阶段约束;生命周期成本还包括推理量、延迟、显存、维护以及质量要求。
因此模型选型要用实际任务验证。一个更小模型在受约束分类任务上可能足够,但复杂多步推理不一定可替代。也不能从总参数推断 MoE 的单 token 计算或每卡显存:激活专家与全部驻留权重是不同量。
用二十位字符串看“突然学会”
假设每个字符独立正确的概率为 p,要20位全部正确的概率就是 p²⁰。这个独立假设只是可计算的教学模型,真实生成字符具有相关性。
当 p 从0.90连续提高到0.95时,全串正确率从约12.16%提高到35.85%;p到0.99时则约81.79%。若评测只报告“全串正确率是否超过50%”,前者看起来完全没学会,后者突然学会。跃迁的一部分来自指标的阈值,而不是证明内部机制在那一刻突变。
保存为 scaling.py,运行 python -X utf8 scaling.py。
"""人为独立字符模型,演示指标非线性;不是规模定律拟合。"""
def exact_probability(per_character, length):
if not 0 <= per_character <= 1 or length <= 0:
raise ValueError('概率/长度越界')
return per_character ** length
if __name__ == '__main__':
for p in [0.7, 0.8, 0.9, 0.95, 0.99]:
exact = exact_probability(p, 20)
print(f'字符正确率 {p:.2f};20位全对 {exact:.4f};超过50%门槛 {exact >= 0.5}')
print('相同训练计算 N×D:', 7*400, 14*200, 28*100)字符正确率 0.70;20位全对 0.0008;超过50%门槛 False
字符正确率 0.80;20位全对 0.0115;超过50%门槛 False
字符正确率 0.90;20位全对 0.1216;超过50%门槛 False
字符正确率 0.95;20位全对 0.3585;超过50%门槛 False
字符正确率 0.99;20位全对 0.8179;超过50%门槛 True
相同训练计算 N×D: 2800 2800 2800把长度从20改为5,整体通过曲线会明显改变,底层 p 却没有变化。再把门槛从0.5改为0.8,所谓“开始具备能力”的位置也变化。这个算例支持检查评测设计,不能用来证明所有涌现现象都是假的。
怎样检验能力增长的证据
“涌现”通常描述小规模几乎看不到、较大规模突然在某评测中表现出的能力,但没有跨任务、架构和指标通用的“达到多少亿参数必然出现”门槛。相同底层进步经过精确匹配、离散评分或少量采样可显得突变;也不能反过来断言所有能力变化都只是测量假象。回答规模阈值时,应给具体任务、模型族和评价定义,缺少这些条件就不能报一个确定参数数目。
先固定数据、提示、解码和工具条件,再沿多个规模测量,而不是只拿两个检查点比较。同步报告连续分数、完全匹配、误差分布与置信区间;看小样本下的零分是否只是没有抽到成功案例。保留失败样本,区分格式差异与实质错误。任务确实要求全对时,精确匹配有业务意义,但仍应辅助观察中间能力。
同时检查测试污染:大模型可能见过题目或近似答案,较小模型未见过;这不能单独归因于架构或规模。检索、工具调用、提示模板、推理 token 预算和重试次数也可能改变成绩。如果新模型获得更多计算预算,比较应说明是整体系统效果还是等预算能力。
知识截止与幻觉怎样理解
知识截止是训练数据时效边界的概括,不是精确的“此前全知、此后一概不知”。即使日期之前的事实也可能未见过或未可靠记住;推理、外部工具和检索可能帮助回答之后的信息。在线服务的资料注入和搜索能力又与基础模型参数知识不同。
幻觉可能来自数据错误、缺少依据、相近实体混淆、长上下文遗漏或生成目标偏好连贯续写。扩大模型和数据可能改善一些错误,不能保证事实正确。低温只稳定选择高分候选;它不会把未知事实变成知识。用可追溯证据、拒答策略、领域核验与评测来控制影响,比笼统声称“模型够大就不会幻觉”更可操作。
面试回答规模定律时,应能说出优化对象、预算假设和评测限制,再说明如何在自己的业务上验证。复述排行榜数字不等于理解规模规律。
综合追问:大模型榜单跨过及格线,是否证明发生了能力突变?
这是给定条件下的机制推演;数值用于解释判断,不是新增线上或模型实测。先独立回答,再核对下面的推理。
展开推理、取舍与排错路径
固定计算粗略C≈6ND时,增加参数N常意味着减少训练token D;这个近似忽略部分注意力、通信与利用率,不能当硬件计费公式。训练最优配置还未必是高请求量部署的成本最优,小模型多训练可能值得,但要用同任务质量和推理成本比较。
字符正确率0.95到0.99连续变化,在独立假设下20位全对率从约0.3585到0.8179,再加50%门槛就出现“突然及格”。先查看连续分数、指标阈值、样本污染和预算是否一致,再判断是否还有无法由测量方式解释的现象。知识截止不是此前全知的界线;检索能提供新事实,低温不能保证最高分答案正确。面试应分别解释规模约束、阈值现象和幻觉核验,不将三者归因一个参数量阈值。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
固定训练计算时,增大参数为什么不保证更好?
参考思路与常见误区
粗略 C≈6ND 下,增大 N 往往需要减小训练 token D。最优分配依赖模型族、数据和目标,不能只追参数量。该近似还忽略注意力、通信和硬件利用率等成本。
常见误区:把粗略计算式当任意架构的精确墙钟时间。
p 从0.95到0.99为何让20位全对率变化很大?
参考思路与常见误区
独立字符假设下全对率为 p 的20次方,约从0.3585变为0.8179。若再加50%通过门槛,会显示从失败突然变成功。底层概率仍连续变化,这提示检查指标而非直接断言内部突变。
常见误区:用教学独立假设证明所有真实涌现都不存在。
训练计算最优与部署成本最优为什么不同?
参考思路与常见误区
前者优化一次训练预算;后者还包含请求量、每次推理成本、延迟与显存。大量服务时,多投入训练使较小模型达到目标质量可能更划算,但必须在业务集验证。
常见误区:只比较训练账单,不考虑长期推理量。
怎样避免把工具或更多推理预算的收益归因于模型规模?
参考思路与常见误区
固定提示、数据、解码、工具和 token/重试预算,或者分别报告等预算比较与系统整体比较。检查污染、样本量、置信区间和任务切片,不把两个排行榜数字当严格消融。
常见误区:新模型可搜索重试,旧模型单次裸答,却说差异全部来自参数。
知识截止是不是一个确定的全知边界?低温能消除幻觉吗?
参考思路与常见误区
不是。截止之前的信息可能未学到,之后的信息可能通过检索获得;参数知识与在线工具来源不同。低温只稳定候选选择,最高分仍可能错误。需证据、核验和拒答机制。
常见误区:用截止日期或温度零作为事实准确性的承诺。
原始研究见 Training Compute-Optimal Large Language Models 与 Are Emergent Abilities of Large Language Models a Mirage?。这些研究提供可检验观点,不是所有后续模型的无条件保证。