MoE:激活参数少,为什么显存和延迟仍可能很高
从路由、专家容量和负载平衡算起,区分总参数、单 token 激活参数及跨设备通信成本。
稀疏 MoE 把某些层的前馈网络换成多个专家,并让路由器为每个 token 选择其中少数几个。一个 token 不必经过所有专家,因而可以增加总参数容量,同时控制单 token 的专家计算量。这不表示模型只需要把被当前 token 选中的权重放进显存。
路由器怎样选择专家
隐藏向量 x 乘路由权重得到 E 个专家分数,softmax 后得到门控概率。Top-k 路由取其中 k 个专家,分别计算专家输出,再按门控权重组合。具体实现可能在选中的集合内重新归一化,也可能保留原概率;共享专家、分组路由和无丢弃调度也有不同设计,不能把一种公式当成所有 MoE 的统一实现。
专家通常是可训练的 FFN,不是由人预先标注的“数学专家”“法律专家”。路由基于表示和训练信号形成分工,未必对应直观领域。不同 token、不同层可以选择不同专家;整个请求通常会在多个步骤触达很多专家。
参数账与执行账分开算
设共享部分有 S 个参数,E 个专家各有 P 个参数,每 token 选择 k 个专家。简化的总参数约为 S+EP,单 token 激活参数约为 S+kP,路由器和其他开销暂不计。如果 S=2、E=8、P=1、k=2,以十亿参数为单位,总量约10B,单 token 激活约4B。
普通驻留推理仍需要所有可能被选择的专家权重可用。若通过 CPU/NVMe 卸载减少 GPU 驻留,需要按需传输,延迟和带宽成本增加。批内不同 token 可能选择不同专家,一个大批次的专家并集远大于每 token 的 k。训练还需要梯度和优化器状态,不能用激活参数量直接估算完整训练显存。
容量限制为什么会出现
为了给每个专家预分配批处理空间,一种设计设置容量 ceil(capacity_factor×本组token数/E)。路由偏向某个专家时,即使其他专家空闲,这个专家也可能超容量。实现可以跳过溢出 token 的专家分支、重路由、采用更大容量或无丢弃调度,不同策略的质量与性能不同。
以下示例有四个 token、两个专家,Top-1 选择为 [0,0,0,1]。容量系数1时,每个专家容量2,第三个去专家0的 token 溢出。系数1.5时容量3,不再溢出。跳过专家分支不等于删除整枚 token:如果层有残差,原隐藏状态仍沿残差通路保留。
实际运行路由与平衡统计
保存为 moe.py,运行 python -X utf8 moe.py。专家函数固定为标量乘法,路由分数也是固定输入;这用于观察调度逻辑,没有学习专家能力,也没有 GPU 通信。
"""Top-1 硬路由与容量限制的确定性演示;专家是固定标量函数。"""
from math import exp, ceil
def softmax(values):
maximum = max(values)
numerators = [exp(value - maximum) for value in values]
return [value / sum(numerators) for value in numerators]
def dispatch(tokens, logits, capacity_factor):
if not tokens or len(tokens) != len(logits) or capacity_factor <= 0:
raise ValueError('输入不能为空且长度必须一致,容量系数必须为正')
experts = len(logits[0])
if not experts or any(len(row) != experts for row in logits):
raise ValueError('专家分数维度不一致')
capacity = ceil(capacity_factor * len(tokens) / experts)
loads = [0] * experts
outputs, dropped, probabilities = [], [], []
for index, (token, scores) in enumerate(zip(tokens, logits)):
p = softmax(scores)
probabilities.append(p)
expert = max(range(experts), key=lambda e: (p[e], -e))
if loads[expert] >= capacity:
# 省略专家分支;在实际残差层中不意味着丢弃整枚 token。
outputs.append(0.)
dropped.append(index)
else:
loads[expert] += 1
outputs.append(p[expert] * (expert + 1) * token)
assignments = [max(range(experts), key=lambda e: (p[e], -e)) for p in probabilities]
fraction = [assignments.count(e) / len(tokens) for e in range(experts)]
average = [sum(p[e] for p in probabilities) / len(tokens) for e in range(experts)]
balance = experts * sum(f * p for f, p in zip(fraction, average))
return capacity, loads, dropped, outputs, balance
if __name__ == '__main__':
tokens = [1., 2., 3., 4.]
logits = [[3., 0.], [3., 0.], [3., 0.], [0., 3.]]
for factor in [1., 1.5]:
capacity, loads, dropped, outputs, balance = dispatch(tokens, logits, factor)
print(f'容量系数={factor} 每专家容量={capacity} 实际负载={loads} 溢出={dropped}')
print('专家分支输出', [round(value, 6) for value in outputs], f'平衡项={balance:.6f}')容量系数=1.0 每专家容量=2 实际负载=[2, 1] 溢出=[2]
专家分支输出 [0.952574, 1.905148, 0.0, 7.620593] 平衡项=1.226287
容量系数=1.5 每专家容量=3 实际负载=[3, 1] 溢出=[]
专家分支输出 [0.952574, 1.905148, 2.857722, 7.620593] 平衡项=1.226287代码保留 Top-1 专家的原 softmax 概率作为缩放,没有在单个选中专家上重归一化到1。分数 [3,0] 的首项概率约0.952574,所以第一个输出为0.952574。第二个专家函数为2倍输入,最后一个输出为 0.952574×2×4,约7.620593。
平衡项采用 E×Σ(f_i×p_i):f 是丢弃前的硬路由频率,p 是平均门控概率。它是一种常见辅助项的无系数版本,训练时还需乘权重并与任务损失组合。两次实验路由偏好相同,因此平衡项相同,尽管实际负载和溢出已经变化。不能用“溢出变为零”推出路由已经均衡。
把第二行分数改成 [0,3],硬分配会接近 [0,1,0,1],本例系数1也能容纳所有 token。真实训练不能只强行追求各专家数量相等:过强平衡可能压制有用专门化,过弱则可能产生热点和专家利用率不足,需要联合观察任务损失与负载。
跨设备专家并行的代价
当专家分布在不同设备上,token 表示需要按路由分发到目标专家,再把输出聚合回原序列顺序。常见实现包含 all-to-all 通信与分组矩阵乘法。小批量、长尾热点、跨节点网络或过小的专家矩阵都可能让通信与调度开销占主导。少做乘法不等于端到端一定更快。
容量系数增加可能减少溢出,却增加缓冲与填充计算;更多专家降低每专家收到的 token 数,也可能降低矩阵乘法效率。量化能减少权重传输和驻留,但精度代价、路由数值稳定性与内核支持仍需验证。MoE 的部署选型应同时记录总参数、激活参数、实际权重精度、专家分布、batch/长度、互连条件和质量指标。
当吞吐正常但尾延迟很差,可看每专家 token 数分布、路由/通信耗时、容量溢出率、设备利用率和批次组成;当质量突然下降,应检查溢出策略、路由精度与版本、专家权重加载是否一致。只展示模型名里的激活参数,无法解释这些故障。
逐项情境追问与故障定位
以下为机制分析与手算情境。可先遮住回答独立判断,再核对输入、失败位置和选择条件;它们不代表真实模型、远端服务或设备实验记录。
专家路由:相同Top-1专家,输出却差0.95倍,是什么配置差异?
检查选中集合是否重新归一化:保留原softmax概率时[3,0]第一项约0.9526,Top-1重归一化后权重1。两者是不同门控策略。先锁定分数、专家函数和组合规则逐步计算,再谈模型质量;专家名称不证明领域专门化。
稀疏激活:每token只选2专家,batch仍访问全部8专家,是否违背稀疏?
稀疏针对单token,多个token选择的专家并集可覆盖8个。稀疏节省每token专家计算,但不等于只驻留两专家;卸载省显存会增加传输。统计单token选中数与批内并集,分开核权重驻留和执行次数。
负载平衡:路由[0,0,0,1]总容量4却溢出,如何解释?
两个专家各容量2,专家0第三项超额而专家1空位不可自动通用。增容量能减少溢出但增加缓冲/填充,强平衡也可能压制有效专门化。分别记录丢弃前路由频率、执行数、溢出率和任务质量,不能只看总容量。
总参数与激活参数:共享2B、8个1B专家、Top-2,按4B买显存为何不够?
4B是简化单token激活量,总参数约10B,普通驻留须让所有候选专家可用,还需KV和运行缓冲。量化/卸载可降驻留但影响精度或延迟。先列权重精度、总参数和缓存账,再测峰值,不能用激活量直接算完整显存。
通信成本:MoE乘法更少但p99更慢,如何定位?
token分发、all-to-all聚合、热点专家和小矩阵效率可能支配时间。专家并行扩大容量却依赖互连和批组成。记录每专家负载、通信/计算时间和溢出,在相同质量、长度、batch和硬件下比较;只比FLOPs无法判端到端快慢。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
S=2B,8个1B专家,Top-2,总量和单token激活量约多少?
参考思路与常见误区
忽略路由等额外项,总量S+EP约10B;单token激活S+kP约4B。普通驻留服务仍需让全部可选专家可用,批内多个token选择的专家并集也可能很大。
常见误区:用4B估计整个模型权重驻留需求。
四token、两专家、容量系数1,路由[0,0,0,1]会怎样?
参考思路与常见误区
每专家容量ceil(4/2)=2,第三个路由到专家0的token超容量,专家1仍有空位。是否丢弃分支、重路由或延后计算取决于实现;有残差时跳过专家分支不等于删除整个token。
常见误区:认为总容量够就不会出现热点溢出。
增加容量后没有溢出,为什么负载平衡项仍可能不变?
参考思路与常见误区
示例平衡项用丢弃前的路由频率与平均门控概率,两者未变。容量改变的是可执行数量。应分别记录路由偏好、实际执行负载和溢出,不能把无溢出等同于均衡。
常见误区:只看最终执行数量判断路由器是否学会均匀分配。
激活参数较少的MoE为什么可能比稠密模型更慢?
参考思路与常见误区
跨设备专家需要分发与聚合token,产生通信;小专家批次降低矩阵效率,热点和容量策略影响尾延迟。应在相同质量、批大小、长度与硬件互连条件下测端到端性能,不能只比较乘法量。
常见误区:把单token激活参数比例直接当端到端延迟比例。
专家一定对应数学、法律等人工定义领域吗?
参考思路与常见误区
通常专家是训练出的FFN,路由按隐藏表示选择,分工未必对应可解释领域,且不同层与token可选不同专家。应通过数据分析验证专门化,不能由专家编号或名字推断能力。
常见误区:把神经MoE专家当成多个拥有固定职责提示词的Agent。
稀疏专家层与简化路由的研究见 Sparsely-Gated Mixture-of-Experts 与 Switch Transformers。本例的输出只验证指定路由策略,不复现论文的训练质量或加速结论。