论文

信号路由温度缩放:针对小验证预算的低容量风险条件校准

Signal-Routed Temperature Scaling: Low-Capacity Risk-Conditioned Calibration for Small Validation Budgets

模型评测鲁棒性、公平性与可信度评测

摘要

当分类器仅从几千个留出集的示例中重新校准时,校准图的容量就成为一种统计设计选择,而不是纯粹的架构选择:标量图可能不适合结构化残差校准,而高度自适应的图可能很难从如此小的分割中可靠地估计。我们将校准目标与自适应能力分开,并提出信号路由温度缩放 (SRTS-BCE),这是一种 10 参数、保留 argmax 的校准器,它交叉拟合六个 Logit 统计数据的正确性风险评分,并为每个 $K=3$ 风险组拟合一个顶级标签 BCE 温度,将 TvA-TS 恢复为其 $K=1$ 限制。在微调的 CIFAR-100 / ViT-B/16 上,SRTS-BCE 将 $ECE_{15}$ 从 1.65(标量 TvA-TS)降低到 0.96,在完全校准预算下匹配更高容量的 SMART+BCE 头 (0.95)。随着预算缩减,这两种制度会分开:在 $n=250$ 时,SRTS-BCE 在所有三个 CIFAR-100 主干上都击败了 SMART+BCE(种子到绘制的分层间隔不包括零),而与标量的旗舰比较仍然是方向性的。协议冻结的 Tiny-ImageNet 后续版本再现了小预算分离,并在 Swin-T 上表现出依赖于预算的排名逆转;匹配的路由和映射控制表明,效果既与学习的路由器无关,也与离散分组无关。这些结果共同确定了事后校准器容量作为有限样本设计选择,其首选水平随着可用校准数据量的变化而变化。