用于高效异构模型协作的校准感知不确定性级联

异构模型协作旨在利用不同模型的互补优势来平衡预测性能和推理成本。现有方法通常依赖于经过训练的路由器（将路由决策与固定任务和模型池联系起来）或依赖于原始置信级联（其阈值缺乏跨异构模型的一致可靠性语义）。因此，这些方法很难适应不断变化的模型池和部署预算。我们提出了校准感知不确定性级联（CAUC），这是一个简单的事后框架，可以独立校准每个模型的置信度并使用验证数据选择部署策略。由此产生的校准置信度分数建立了一个通用的可靠性量表，用于接受早期预测、调用更强大的模型或有选择地组合模型输出。这种统一的决策标准将部署策略与任何特定模型池或运营预算分离。我们进一步从理论上证明，校准为置信阈值提供了明确的选择性风险解释，而未校准的分数则不提供可比较的可靠性保证。大量实验表明，在六种语言基准中，CAUC 比仅强模型推理平均相对准确度提高了 1.9%，同时避免了大约 47% 的强模型调用。在图像分类基准中，它保持或提高了预测性能，同时将测量的 GFLOP 降低了高达 57%。