使用推理时间随机注意力校准科学基础模型

基于 Transformer 的科学基础模型越来越多地部署在高风险环境中，但当前的架构提供确定性输出，并对校准的预测不确定性提供有限的支持。我们提出了随机注意力（Stochastic Attention），这是一种样本平均轻量级推理时间修改，通过用单个浓度参数控制的归一化多项样本替换 softmax 权重来随机化注意力，并在无需重新训练的情况下生成预测集合。为了设置这个参数，我们引入了一个校准目标，将随机注意力输出与目标相匹配，从而产生有效的单变量事后调整问题。我们在天气和时间序列预测的科学基础模型以及几个回归任务上评估了这种机制。在针对不确定性感知基线的基准测试中，我们发现样本平均随机注意力在可比较的校准中实现了最强的本机校准和最清晰的预测间隔，其适应成本比下一个最佳基线低了近三个数量级。