论文

弥合置信差距:用于校准测试时间提示调整的温度缩放

Bridging the Confidence Gap: Temperature Scaling for Calibrating Test-Time Prompt Tuning

模型推理推理验证与自校正

摘要

测试时提示调整 (TPT) 可以在单个测试实例上进行调整,从而提高精度,但通常会牺牲校准性能。大多数现有的校准方法引入了额外的正则化项来促进文本嵌入的分散并减少校准误差,但这些方法通常会出现精度下降的问题。受零样本预测良好校准性质的启发,我们提出了 CoTS,这是一种简单而有效的事后校准方法,可以保持准确性。具体来说,CoTS 应用温度缩放来最小化适应预测和零样本预测之间的置信差距。为了充分利用适应过程中多重增强的潜力,我们引入了弱强集成策略,进一步提高了准确性。然后,我们将 CoTS 应用于该集成,称为 E-CoTS,以保持其良好校准的属性。对不同数据集和主干网的广泛实验表明,我们的方法可以有效地减轻校准错误,而不会影响主要精度。例如,E-CoTS 在 ImageNet 变体上将 TPT 的平均预期校准误差从 11.90% 降低到 5.38%,同时甚至将准确度从 60.74% 提高到 62.95%。此外,当与现有的校准方法集成时,E-CoTS 通常可以同时增强精度和校准。