是否值得升级模型？LLM 级联的决策理论分析

模型级联在低置信问题上由低成本 LLM 转交高成本模型，常用于平衡部署成本与质量。现有方法多将转交阈值作为经验超参数，缺少对模型池成本—质量边界几何性质的指导。论文基于约束优化与对偶理论建立决策框架。对双模型级联，研究在置信度分布中收益递减的区域证明成本—质量边界的分段凹性，并用互为倒数的影子价格联系预算约束与质量约束形式。对包含 k 个模型的池，确定性双模型阈值级联的可达边界，是全部 k(k-1)/2 个两两级联边界的逐点包络，切换点对应最优模型组合改变。对 k 模型级联，研究推导一阶条件，用单一影子价格使各阶段边界上的边际质量收益与成本之比相等。论文在 MATH、MMLU、TriviaQA、SimpleQA 和 LiveCodeBench 五个基准上，评估来自五家供应商的八个模型。在确定性阈值级联范围内，固定完整链的表现不及两两级联包络，优化后的子序列级联在留出数据上也未提供有实际意义的额外收益。轻量生成前路由在五个数据集中的四个超过最优级联策略，主要因为直接交给大模型的问题不再支付小模型生成成本，而非路由信号更强。结果提示，级联的限制主要来自先支付小模型成本再决定升级的结构，而非中间阶段不足。