SOAP-Bubbles：神经网络的结构化权重不确定性

结构化权重不确定性可以改善深度学习的许多方面，但估计成本仍然很高且难以实施。在这里，我们展示了可以通过调整 SOAP 优化器来解决这些问题。我们的关键思想是在 SOAP 预处理器的特征空间中运行 IVON（一种现有的对角协方差变分方法），然后使用预处理器将对角估计转换为非对角协方差。由此产生的方法的成本与 SOAP 类似，并且不需要对训练管道进行重大更改。我们将这种方式获得的后验称为 SOAP-Bubbles，并将我们的新优化器称为 Eigenspace-VON (EVON)。我们表明，对于逻辑回归，EVON 恢复了精确的高斯协方差，并且对于语言模型预训练，它比现有的对角协方差方法产生了明显更好的结果。我们的工作使得大规模估计深度学习更具表现力的后验分布变得更加容易。