连接领域专业知识和泛化性能评估

分布偏移下的性能估计旨在预测模型在其分布与训练数据不同的未标记测试集上的行为，这种场景需要可靠的指标来忠实地反映没有 真值 标签的模型行为。现有方法仅依赖于给定模型的输出，一旦分布发生变化，其偏差就会放大，从而削弱了与真实性能的相关性。受此限制的启发，我们提出融合参考对齐预测（FRAP），它利用外部基础模型和基础模型的互补优势来构建 真值 标签的更可靠的替代。 FRAP 通过应用温度标度校准来将基础模型的预测分布与基础模型的预测分布对齐，从而最大限度地减少它们的差异。对齐的预测通过基于置信度的加权融合到精炼的参考分布中，该参考分布集成了基础模型的鲁棒性和基础模型的特定领域专业知识，并且通过测量基础模型预测与该参考的一致程度来获得性能估计。跨不同数据集和架构的大量实验表明，FRAP 相对于分布变化下的代表性性能估计方法提供了一致且实质性的改进。