模型选型与多模型路由:以任务成功成本做决策
构造有分层标签的质量集,计算重试与路由的成本,处理隐私约束、回退和版本迁移。
模型选型要回答的是“这个业务在约束内能否稳定完成”,不是找到一个总榜第一。一个模型可能擅长普通改写,却在否定条件抽取、证据不足拒答或工具参数上失误。另一个模型单次费用高,但如果少了重试、人工复核和错误回滚,每次成功任务的总成本反而更低。
先把硬约束放在打分之前
先确定数据是否允许发到外部、部署地域与保留要求、商业许可、上下文长度、工具/多模态能力、吞吐和延迟上限。这些约束有些属于准入条件,不宜用“平均质量好”来抵消。例如一类敏感文档不允许离开内网,它应先被路由到允许的数据边界,之后才在合规候选中比较效果。
开放权重、开放源码和宽松商业许可不是同义词。开放权重给你自部署及一定改造空间,但也带来设备、容量、补丁、监控和运维成本;托管闭源API减少了部分基础设施工作,却增加供应商依赖、网络路径和版本变化的管理需求。是否可微调、是否允许衍生或商用,应读具体许可证,而不是只按“开源模型”标签判断。
质量集要像真实请求,也要能暴露少数关键失败
从真实任务提取经脱敏的代表样本,按输入长度、语言、领域、难度、风险和输出形式分层。保留普通路径,也纳入缺字段、冲突资料、恶意输入、证据不足和边界数值。把每题的可接受行为写清楚:抽取题看字段及语义,带引用回答要检查证据支持,权限题要检查是否拒绝越权,而不是只看文本流畅。
开发集用于调prompt和路由;保留独立测试集用于最终比较,避免反复看测试集造成过拟合。同一请求在不同候选上采用一致的业务输入和可比预算,记录模板、采样、模型版本、token与延迟。对随机生成适当重复,估计波动;少量样本的胜率差不能轻易推广到所有请求。
自动精确匹配适合结构稳定的字段,却不适合所有开放回答。模型评审能扩展覆盖,但可能有偏好、位置效应和同源偏差,需要用人工小样本校准并保留失败实例。高风险错误应单列“必须为零或低于明确阈值”的约束;总体平均分会掩盖它们。
成本分母为什么要用成功任务
假设一次小模型调用成本为1个抽象单位,成功率为p。在每次尝试独立同分布、失败能被正确识别、允许无限重试且没有额外成本的理想假设下,每成功任务平均需要1/p次尝试,成本为c/p。p=0.8时是1.25;p=0.2时是5,已经高于某个成本4且能一次完成的候选。
现实失败常高度相关:模型缺少知识时,重发相同prompt不一定带来独立机会;校验器还可能漏掉语义错误。所以c/p只能帮助理解方向,不能替代有限重试的实测。还要计入每次输入/输出token、缓存价格差、验证器、路由器、工具调用、超时、人工复核和失败损失。价格应保存采集日期与币种,不把本页抽象数字误当实时报价。
固定样本算一遍三种策略
下面五条数据是人工构造的说明性样本,small_ok、large_ok与retry_ok是已写明的假定判定,不来自真实模型测评。风险标签在调用前已知,避免用事后正确性来做不可能实现的“完美路由”。比较三个策略:全部大模型;高风险大模型、其余小模型;全部小模型且失败后最多重试一次。
保存为model_selection.py,运行python -X utf8 model_selection.py。
"""固定人工样本计算路由成本;结果不是任何真实模型榜单。"""
from dataclasses import dataclass
@dataclass(frozen=True)
class Case:
name: str
risk: str
small_ok: bool
large_ok: bool
retry_ok: bool
CASES = [Case('格式抽取', 'low', True, True, True),
Case('长文交叉核对', 'high', False, True, False),
Case('普通改写', 'low', True, True, True),
Case('含否定条件抽取', 'high', False, True, True),
Case('证据不足拒答', 'low', False, False, False)]
def evaluate(policy, small_cost=1, large_cost=4):
if policy not in ('large', 'route', 'retry'):
raise ValueError('未知策略')
cost, passed = 0, 0
for case in CASES:
if policy == 'large' or (policy == 'route' and case.risk == 'high'):
cost += large_cost
ok = case.large_ok
else:
cost += small_cost
ok = case.small_ok
if policy == 'retry' and not ok:
cost += small_cost
ok = case.retry_ok
passed += int(ok)
return passed, cost, cost/passed if passed else float('inf')
if __name__ == '__main__':
for policy in ('large', 'route', 'retry'):
passed, cost, per_success = evaluate(policy)
print(policy, f'通过 {passed}/5,成本 {cost},每成功样本成本 {per_success:.3f}')
# 独立同分布、无限重试的理论近似,与上面的相关失败样本分开。
for probability in (.8, .2):
print(f'单次成本 1、成功率 {probability}:理论每成功成本 {1/probability:.2f}')large 通过 4/5,成本 20,每成功样本成本 5.000
route 通过 4/5,成本 11,每成功样本成本 2.750
retry 通过 3/5,成本 8,每成功样本成本 2.667
单次成本 1、成功率 0.8:理论每成功成本 1.25
单次成本 1、成功率 0.2:理论每成功成本 5.00按风险路由在这组固定数据上保持4/5通过,把成本从20降到11。重试策略的每成功成本略低,却只通过3/5;如果业务要求至少4/5,它不能因为便宜就被选中。最后一个“证据不足拒答”样本两种模型都失败,提醒你换大模型也不是必然解决方案,可能要修改数据、检索或约束。
把低风险样本中小模型的一项正确标为错误,再观察路由策略质量下降;把大模型成本从4改为2,重算成本优势。这样得到的是参数敏感性,不是对某家供应商的排名。真实选型应把这些判定替换为独立测试集上的实际结果。
路由器可以看什么,不能假定知道什么
路由信号可以包括任务类型、输入长度、是否需要工具、领域、数据级别和先验风险;也可以由小模型或分类器预测难度,但路由器自身有延迟、成本和误判。模型自报“有90%把握”不天然是经过校准的成功概率,需要在留出集上检验其可靠性。
先尝试便宜模型再按校验结果升级是级联。校验要能识别失败,例如schema不合法、引用不存在或工具参数违反约束;对没有可靠判定的开放语义问题,不能假定失败都能被检测。升级时前次调用已花费的token、延迟和工具副作用不能抹去。不要因为换了模型就重复提交已经成功的支付或写入操作,工具层仍需幂等与执行记录。
路由规则应可解释、可版本化,记录选了哪条规则以及允许的数据边界。不要把用户可编辑的“低风险”字段直接作为准入依据;服务端需要核验。规则修改也要跑回归集,避免把此前交给强模型的难题无意下放。
回退先判断失败类型,再判断剩余预算
连接失败、限流和供应商故障可以触发有上限的重试或另一路由,但前提是剩余时间足够、目标能力相同且数据可以发往该供应商。上下文超限、参数错误、策略拒绝和语义不合格分别需要不同处理;盲目换模型可能重现错误,甚至绕过原先的数据或权限要求。
为每个请求维护总期限、最大尝试次数和费用预算,把它们传到后续调用,避免每一层都重新获得完整额度。正在恢复的故障供应商应采用渐进恢复和并发限制,防止所有积压请求同时回灌。降级后的能力与输出限制也要在产品流程中明确,例如只返回已检索证据而不生成结论。
版本迁移也是一次选型实验
固定模型版本或修订,先离线重放测试,再做不影响用户结果的影子流量比较,最后按小比例逐步放量。真实数据用于影子请求仍需满足原有隐私与费用约束。监控总质量之外,还看工具调用成功、JSON合法率、拒答、成本、P95延迟与各类用户群体差异。
保留上一版本模型/模板/路由配置,定义明确回滚触发条件。新模型可能改变tokenizer、默认输出长度、工具格式和拒答行为,即使总榜更好,也可能破坏当前应用契约。版本迁移通过的证据应来自同一业务口径,不能只引用厂商宣传或一次演示。
课后练习展开习题收起习题
先独立作答,再展开参考思路。检查自己的解释是否包含机制、条件和反例。
便宜模型单次成本1、成功率0.2,什么时候每成功成本是5?
参考思路与常见误区
只有独立同分布尝试、失败正确检测、无限重试且无额外成本的理想几何模型下,期望尝试数为1/p,成本为c/p。现实相关失败、有限重试、验证器与人工成本会改变结果,需实测总任务成本。
常见误区:拿一次任务成功率直接承诺无限重试后的实际费用。
固定算例里retry每成功成本略低,为什么不能直接选它?
参考思路与常见误区
retry通过3/5而route通过4/5;如果质量约束至少4/5,retry不合格。成本应在满足质量、隐私和延迟约束的候选之间比较;同时这五条是说明性夹具,不是实际模型排名。
常见误区:只最小化一个平均成本数,忽略失败率与任务风险。
一个可执行路由器与事后完美路由的区别是什么?
参考思路与常见误区
可执行路由只能使用调用前可得的任务/长度/风险信号,或实际付费获得的校验结果。不能事先知道某模型本题是否正确。路由器本身有误判、费用和延迟,需要在留出集检验并记录规则版本。
常见误区:用每题已知正确答案挑模型后宣称线上也能达到相同成本质量。
主模型超时后,为什么不能总是转发给外部备用模型?
参考思路与常见误区
备用方必须满足数据边界、能力和权限要求,还需剩余期限/费用预算。原请求可能已产生工具副作用,回退不能重复执行。限流、参数错误、拒绝和语义失败的处理也不同,应按失败类型和幂等记录决策。
常见误区:把回退当成无条件忽略隐私、预算和副作用的通用补救。
新模型总榜更好,上线前还要做什么?
参考思路与常见误区
固定具体版本/模板/路由,重放业务分层测试集,验证JSON、工具、拒答、token计费及延迟;在允许的数据边界内影子比较、小流量放量并设回滚阈值。总体榜分不能替代已有业务契约与高风险切片。
常见误区:只替换模型名,依靠总体榜单忽略行为和默认参数变化。
多模型路由的研究示例见 RouteLLM,多维评估思路参考 HELM。两者为方法参考,本文固定样本结果不复现论文指标,也不构成实时模型推荐。回到 应用开发学习路径 可继续查看模型调用与上下文专题。