训练资源与超参数:显存、梯度累积和分布式通信
拆分参数、梯度、优化器与激活内存,推导有效batch和token归一化,理解DDP、FSDP与ZeRO的取舍。
训练OOM时直接把batch减半,可能有效,也可能完全无效。如果模型权重和优化器状态已经超出单卡容量,microbatch再小也装不下。先按内存组成定位,再选梯度累积、混合精度、activation checkpointing或分片。
显存不是只有模型权重
训练内存包含参数、梯度、优化器状态、激活、临时计算缓冲、通信缓冲和分配器碎片。一个便于手算的Adam混合精度假设是:BF16参数2字节、梯度2字节、FP32主参数4字节、Adam一二阶矩各4字节,合计每参数16字节。具体优化器与实现可能没有主副本或采用不同精度,不能把16当普遍常数。
Adam维护梯度一阶滑动平均m和平方梯度二阶平均v,配合偏差修正及epsilon形成自适应更新;这些状态使它比仅存梯度的简单SGD更占空间。LoRA只为可训练部分维护相应梯度和优化器状态,但冻结底座仍占存储并参与计算。
具体地,m_t=β1 m_(t−1)+(1−β1)g_t,v_t=β2 v_(t−1)+(1−β2)g_t²;再用m_t/(1−β1^t)、v_t/(1−β2^t)修正零初始化偏差,更新量约为学习率乘修正m除以sqrt(修正v)+epsilon。首步g=0.2、β1=0.9、β2=0.999时,m=0.02、v=0.00004,修正后为0.2与0.04;忽略epsilon,该坐标更新幅度约等于学习率。AdamW另外执行解耦权重衰减,衰减项与学习率、参数值有关,不应把它当作额外一份梯度动量。真实实现的状态dtype、融合内核和是否保留主副本会改变内存估算。
激活通常随microbatch和序列长度增加,注意力实现也影响中间存储。记录模型、精度、序列分布、packing、优化器与设备环境后测峰值;平均序列短不代表偶尔长样本不会OOM。
梯度累积的等效条件
若每卡microbatch为b,累积A次,数据并行卡数D,则样本口径有效batch约为b×A×D。示例2×8×4=64。这个等式不自动保证数值完全等效:dropout、数据顺序、归一化、梯度裁剪时机和变长token数量都会影响更新。
每个microbatch按平均loss计算时,若有效目标token数不同,简单平均microbatch梯度会改变权重。应按目标token数归一化,或采用trainer正确的全累积批次归一化。例子两批平均梯度1和3,目标token数2和6,总梯度应为(1×2+3×6)/8=2.5,而不是2。
累积减少一次前向需要的激活,但权重与optimizer状态并不随A减少;每次update所需总计算仍存在。梯度裁剪、optimizer.step与scheduler.step通常按累积完成的更新步执行,不能每个microbatch都更新再称为累积。
混合精度与checkpointing
FP16和BF16都减少存储,但指数范围与精度不同;FP16常配合loss scaling避免小梯度下溢,BF16也不代表不会发生NaN。数值敏感操作可能保留较高精度。监控loss、梯度范数、溢出与跳过更新,而不是只看训练进程还在运行。
activation checkpointing只保存部分激活,反向时重算,换取较低激活内存和额外计算。它不是模型checkpoint保存,也不负责崩溃恢复。选择切分位置影响重算量;与随机操作结合时需要保持正确随机状态。
DDP、FSDP、ZeRO分别分什么
DDP通常每卡保存模型副本,各卡处理不同数据,通过梯度同步保持参数一致;它提高数据并行吞吐,但不会自动把单份模型切小。FSDP分片参数等状态,在计算需要时聚合相关参数,减少常驻内存但增加通信和调度复杂度。
ZeRO按阶段分片:阶段1优化器状态,阶段2进一步分片梯度,阶段3再分片参数。需要all-gather或reduce-scatter等通信,网络带宽、延迟、分片粒度、累积与offload都会影响性能。CPU/NVMe offload把压力转向主存、PCIe或存储,不是免费显存。
跟做:理想状态内存与正确梯度平均
保存 training_resources.py,Python 3.11+运行 python training_resources.py。算例按十亿参数、4卡和上述16字节假设估算,仅包含模型状态,不含激活、临时峰值和通信;不是设备实测,也不承诺某GPU可训练。
"""显存组成与梯度归一化算例;字节估算不是实测显存。"""
def state_bytes(parameters, world=1, stage=0):
# 假设BF16权重2、梯度2、FP32主副本4、Adam两状态8字节。
w, g, master_optimizer = 2*parameters, 2*parameters, 12*parameters
if stage >= 1: master_optimizer /= world
if stage >= 2: g /= world
if stage >= 3: w /= world
return w + g + master_optimizer
def token_weighted_gradient(microbatches):
# (本microbatch的平均梯度, 有效目标token数)
return sum(g*n for g, n in microbatches) / sum(n for _, n in microbatches)
if __name__ == '__main__':
print('effective batch:', 2*8*4)
for stage in range(4):
print('stage', stage, 'GiB:', round(state_bytes(1_000_000_000, 4, stage)/2**30, 3))
batches = [(1., 2), (3., 6)]
print('naive mean:', sum(g for g, _ in batches)/2)
print('token weighted:', token_weighted_gradient(batches))实际输出:
effective batch: 64
stage 0 GiB: 14.901
stage 1 GiB: 6.519
stage 2 GiB: 5.122
stage 3 GiB: 3.725
naive mean: 2.0
token weighted: 2.5stage3在理想均匀分片下状态存储约为未分片的四分之一,但实际执行聚合参数时会出现峰值。修改world只改变分片项,不改变未分片权重项,可以看出阶段差异。token加权结果2.5提醒我们,长度差异是训练语义问题,不只是吞吐问题。
OOM先确定发生在加载、前向、反向还是optimizer step,再检查对应内存;吞吐下降检查通信占比、重算和offload;loss异常检查归一化和精度。实现依据见 DeepSpeed ZeRO 与 PyTorch FSDP。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
梯度累积能解决和不能解决什么?
参考思路与常见误区
减少单次microbatch激活并提高有效batch,不能自动减少权重和optimizer状态,也不免除总计算。
常见误区:累积越多模型常驻显存越小。
两批平均梯度1和3、token数2和6,总平均是多少?
参考思路与常见误区
按目标token权重为(1×2+3×6)/8=2.5,简单平均2改变了训练目标。
常见误区:无论序列长度都平均microbatch均值。
Adam为什么比简单SGD多占状态?
参考思路与常见误区
通常保存一阶与二阶矩,混合精度还可能保留主参数;字节数依实现和dtype,不能只算权重。
常见误区:显存就是参数量乘存储精度。
ZeRO三个阶段分片什么?
参考思路与常见误区
阶段1优化器状态,2再分梯度,3再分参数;分片降低常驻状态但增加聚合通信与峰值。
常见误区:DDP和ZeRO都自动均分所有内存。
activation checkpointing与保存checkpoint相同吗?
参考思路与常见误区
前者为反向重算而少存激活,用计算换内存;后者保存恢复训练状态,责任不同。
常见误区:打开前者就能断点续训。