论文
通过 Stein 变分梯度下降在 Stiefel 流形上实现几何感知贝叶斯参数高效 微调
Geometry-Aware Bayesian Parameter-Efficient Fine-Tuning on the Stiefel Manifold via Stein Variational Gradient Descent
摘要
针对大型预训练模型的参数高效 微调，已经出现了几种低秩适应的几何感知方法。这些方法旨在充分利用低秩流形的几何结构来提高子空间利用效率并通过在优化过程中强制正交约束来减少冗余。这些技术的强有力的实证结果促使人们进一步研究这种基于几何的适应方法的预测是否可能过于自信。在本文中，我们在适配器的奇异值分解因式分解的基础上开发了一个基于斯坦因变分梯度下降（SVGD）的框架。在此公式中，低秩矩阵沿着 Stiefel 流形传输，以匹配目标分布，同时保留其关键的几何结构。由于这种几何感知的 SVGD 方法在推理过程中提供了多种解决方案，因此它支持不确定性量化，并在 Stiefel 流形上生成更好校准的适配器。大量实验表明，我们的方法提供了强大的模型校准，并且比 SVGD 和欧几里得空间中制定的相关不确定性估计方法获得更高的预测精度。