通过正交低秩适配器的 LLM 的可扩展变分贝叶斯 微调

将 大语言模型 (LLM) 部署到安全关键型应用时，不确定性量化 (UQ) 对于自我评估基于 LLM 的决策的可靠性至关重要。然而，此类决策通常会受到过度自信的影响，特别是在使用有限数据的下游特定领域任务的参数高效 微调 (PEFT) 之后。缓解此问题的现有方法要么依赖于基于拉普拉斯近似的事后框架，这可能会根据训练轨迹产生次优校准，要么依赖于变分贝叶斯训练，需要在推理时对整个 LLM 主干进行多次完整的前向传递以进行蒙特卡罗估计，这给部署带来了可扩展性挑战。为了解决这些限制，我们建立在贝叶斯最后一层 (BLL) 模型的基础上，其中基于 LLM 的确定性特征提取器后面跟着随机最后一层参数，用于不确定性推理。由于现有的 PEFT 低秩适配器 (LoRA) 由于秩崩溃而限制了表达能力，因此我们通过极地分解低秩适配器表示 (PoLAR) 来解决这个问题，这是一种正交化参数化，与黎曼优化相结合，以实现更稳定和更具表现力的适应。在此 PoLAR-BLL 模型的基础上，我们利用变分 (V) 推理框架提出了可扩展的贝叶斯 微调 方法，该方法通过交替优化联合寻找 PoLAR 参数和最后一层参数的近似后验。由此产生的 PoLAR-VBLL 是一个灵活的框架，它将架构增强的优化与可扩展的贝叶斯推理完美地集成在一起，为 LLM 提供了经过良好校准的 UQ。我们的实证结果验证了 PoLAR-VBLL 在各种常识推理任务的分布内和分布外数据的泛化和不确定性估计方面的有效性。