论文
贝叶斯适应 Gym：多模态语言模型贝叶斯低秩适应的基准
Bayesian Adaptation Gym: A Benchmark for the Bayesian Low-Rank Adaptation of Multi-Modal Language Models
摘要
大型多模态语言模型越来越多地部署在高风险领域，这使得良好校准的不确定性变得至关重要。传统的贝叶斯方法近似所有模型权重的后验，这对于现代大型模型来说变得棘手。因此，最近的工作转而考虑贝叶斯低秩适应以实现易于处理的后验近似。由于缺乏评估这些方法的标准化基准，目前尚不清楚这些方法在哪些方面提供了有意义的好处。为了填补这一空白，我们引入了贝叶斯适应 Gym（BAG），它是多模态语言模型贝叶斯适应的基准。 BAG 提供了经典贝叶斯基线和最先进的适应方法的参考实现，以及多模态数据集和任务套件，旨在通过主动学习探索校准、分布变化下的鲁棒性以及不确定性下的决策。使用 BAG，我们进行并报告了跨模型大小、数据集和任务的广泛实验，以突出当前贝叶斯适应方法的成功和失败。为了进一步研究，BAG 完全开源：https://github.com/SRI-CSL/BayesAdapt。