投影子空间中的贝叶斯 微调

低秩适应 (LoRA) 通过将权重更新分解为低秩矩阵，实现大型模型的参数高效 微调，从而显着减少存储和计算开销。标准 LoRA 虽然有效，但缺乏不确定性量化机制，导致模型过于自信和校准不良。 LoRA 的贝叶斯变体解决了这一限制，但代价是可训练参数数量显着增加，部分抵消了原来的效率增益。此外，这些模型更难训练，并且可能会出现收敛不稳定的问题。在这项工作中，我们提出了一种参数高效贝叶斯 微调 的新颖框架，证明可以在非常低维的参数空间中实现有效的不确定性量化。所提出的方法通过改进的校准和泛化实现了强大的性能，同时保持了计算效率。我们的实证研究结果表明，通过对权重空间进行适当的投影，可以在低维空间中有效地对不确定性进行建模，并且权重协方差表现出低秩。