LoRA与QLoRA:低秩更新、量化底座和合并边界
用矩阵算例推导LoRA参数量与缩放,解释target modules、冻结、量化计算、adapter保存和合并回归。
全参数微调一个大型线性层,需要为大量权重保存梯度与优化器状态。LoRA保留原权重,训练一个低秩增量,使更新参数更少;QLoRA进一步用量化形式保存冻结底座。两者减少的资源组成不同,不能把“4bit底座”理解成整个训练过程都只用4bit。
低秩分解如何改变前向
设原线性层W形状为d_out×d_in,输入x;LoRA令A为r×d_in、B为d_out×r:
y = W x + (alpha/r) B A x
可训练参数量 = r(d_in + d_out)
原矩阵参数量 = d_in × d_out这是原始LoRA缩放,其他变体可能不同,例如rsLoRA采用alpha/sqrt(r),应记录配置,不能混用结论。典型初始化让初始增量为零,从基础模型行为开始;具体初始化策略以库配置为准。
对于4096×4096层,原参数16,777,216,r=8时adapter为65,536,约为0.39%。这是某一线性层的参数比,不是整个模型显存降低同一比例,因为底座权重、激活和临时缓冲还存在。
rank、alpha和target modules
rank限制增量的最大秩,也影响容量、参数量和优化动态。更大rank可能拟合更多任务变化,也可能过拟合、增加成本或因缩放不同改变有效更新量;不能保证更高分。alpha与rank、学习率和初始化共同影响更新幅度,调rank时应关注缩放是否同时变化。
target modules指定在哪些层插入adapter,例如注意力投影或MLP线性层;具体名称依模型结构而变。把某模型的q_proj直接套给另一个架构,可能匹配不到或漏掉关键模块。训练前打印匹配模块、可训练参数名和数量,核对原权重是否冻结,是否还训练bias、embedding或modules_to_save。
冻结参数不代表无需中间激活:为了计算A/B梯度,仍需部分前向结果。长序列和大microbatch下,激活可能主导显存,因此仅降低rank无法解决所有OOM。
QLoRA的量化和计算
QLoRA使用低位量化的冻结底座并训练高精度adapter,原论文讨论NF4、double quantization和paged optimizers等技术。NF4不是简单均匀INT4;量化元数据、分组尺度和计算缓冲也占空间。前向计算通常需要反量化或相应低位计算路径,计算dtype与存储dtype不同。
量化误差改变底座行为,adapter可能部分适应但不保证完全恢复。硬件、内核和量化库版本决定实际支持与速度,低bit并不必然更快。训练配置要记录加载精度、计算精度、量化方式和目标模块,而不是只写“QLoRA”。
NF4将4bit码映射到非均匀的有限代表值,针对近似正态权重分布分配量化级,而不是对每个值直接取整数;通常按块保存缩放信息。double quantization进一步量化这些缩放常量,减少元数据,但需要保存第二层尺度,不能理解成把同一权重随意再舍入一次。例子一块64个权重使用4bit需32字节,再保存一个FP32尺度需4字节,粗略合计4.5bit/权重;若尺度本身压成8bit,第一层存储约4.125bit/权重,仍要加第二层尺度和布局开销。这只是存储账本,不是NF4实现或论文压缩比复现。
排查量化后退化时,固定基础revision、模板和测试输入,比较未量化底座、量化底座、量化加adapter三组;检查极端值、长上下文和工具参数等切片。若只有量化底座已明显退化,先确认量化配置和算子,不把所有差异归因于rank不足。paged optimizer利用分页/内存管理减轻某些峰值压力,但页迁移有带宽成本,并不等同于PagedAttention的KV块表。
跟做:精确计算低秩增量
Python 3.11+保存 lora_matrix.py,运行 python lora_matrix.py。程序只做标准库矩阵运算,不训练A/B,不加载PEFT或执行量化。
"""低秩更新的精确小矩阵算例;没有量化库或GPU训练。"""
def matmul(a, b):
if len(a[0]) != len(b): raise ValueError('shape mismatch')
return [[sum(x*y for x, y in zip(row, col)) for col in zip(*b)] for row in a]
def merge(w, a, b, alpha):
rank = len(a)
delta = matmul(b, a)
return [[v + alpha/rank*d for v, d in zip(row, dr)] for row, dr in zip(w, delta)]
if __name__ == '__main__':
w = [[1., 0., 0.], [0., 1., 0.]]
a, b = [[1., 2., 0.]], [[.5], [-.5]]
merged = merge(w, a, b, alpha=2.)
x = [[1.], [1.], [1.]]
print('base parameters:', 2*3, 'adapter parameters:', 1*(2+3))
print('delta:', matmul(b, a))
print('merged:', merged)
print('base output:', matmul(w, x), 'adapted output:', matmul(merged, x))
print('large layer:', {'full': 4096**2, 'rank8': 8*(4096+4096)})实际输出:
base parameters: 6 adapter parameters: 5
delta: [[0.5, 1.0, 0.0], [-0.5, -1.0, 0.0]]
merged: [[2.0, 2.0, 0.0], [-1.0, -1.0, 0.0]]
base output: [[1.0], [1.0]] adapted output: [[4.0], [-2.0]]
large layer: {'full': 16777216, 'rank8': 65536}示例r=1、alpha=2,BA第一行为[0.5,1,0],增量乘2后并入W。输入[1,1,1]时基础输出[1,1],合并后[4,-2]。小矩阵adapter参数5与原参数6相差不大,说明低秩优势依赖维度和rank,不能从“用了LoRA”直接推导节省很多。
把alpha改成0会恢复基础输出;rank增大需同时改变A/B形状。浮点理想算式中分支前向与合并等价,低精度量化后可能产生不同舍入误差,应在实际推理后端做回归。
保存、合并与部署
adapter应绑定基础模型revision、tokenizer和模板。仅保存adapter不能独立加载出完整模型;合并要明确底座精度与量化路径。多个adapter相加也不保证能力简单叠加,可能相互干扰。导出后检查模块名、缺失键、数值差异和端到端行为,再决定灰度。
理论依据见 LoRA论文、QLoRA论文,当前配置字段见 PEFT LoRA参考。本节没有真实GPU训练、量化吞吐或质量提升数据。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
LoRA参数量如何计算?
参考思路与常见误区
W为d_out×d_in,A为r×d_in、B为d_out×r,可训练增量参数r(d_in+d_out),原始缩放alpha/r。
常见误区:参数量始终是原模型固定百分比。
rank增大为何不保证更好?
参考思路与常见误区
容量、成本、缩放与优化动态改变,可能过拟合;数据质量和目标模块同样重要,需固定条件验证。
常见误区:更大rank必然提高泛化。
QLoRA是否所有计算都4bit?
参考思路与常见误区
不是;冻结底座低位保存,adapter和部分计算使用更高精度,还有量化元数据与激活。
常见误区:4bit等于训练显存只有权重四分之一。
target modules如何验证?
参考思路与常见误区
查看模型实际模块名、匹配列表和可训练参数,确认冻结与额外保存层,不盲套另一架构名称。
常见误区:复制q_proj列表后无需检查。
adapter合并后需要什么回归?
参考思路与常见误区
核对base revision、tokenizer与模板,比较张量或输出差异及业务行为;量化舍入可能破坏理想等价。
常见误区:数学上可合并就不需推理测试。