证据转换网络：将预训练模型转变为事后不确定性估计的证据模型

预训练模型已成为视觉和语言方面的标准，但它们通常不提供可靠的置信度度量。现有的不确定性估计方法，例如深度集成和 MC dropout，通常计算成本太高，无法在实践中部署。证据深度学习 (EDL) 提供了一种更有效的替代方案，但它需要训练模型从一开始就输出证据量，这对于预训练网络来说很少如此。为了在预训练模型中实现 EDL 式的不确定性估计，我们提出了证据转换网络（ETN），这是一个轻量级事后模块，可将预训练预测器转换为证据模型。 ETN 在 logits 空间中运行：它学习 logits 的样本相关仿射变换，并将变换后的输出解释为狄利克雷分布的参数，以进行不确定性估计。我们在分布内和分布外设置下评估 ETN 的图像分类和 大语言模型 问答基准。 ETN 不断改进事后基线的不确定性估计，同时保持准确性并仅增加最小的计算开销。