BaLoRA：大规模模型的贝叶斯低秩适应

低秩适应 (LoRA) 已成为 微调 大型预训练模型的标准，同时降低了计算成本。然而，其低秩点估计更新限制了表达能力，相对于完整的 微调 准确性留下了持续的差距，并且不提供内置的不确定性量化，限制了其在可靠性与准确性同样重要的环境中的适用性。我们引入了 BaLoRA，它是 LoRA 的贝叶斯扩展，具有新颖的 LoRA 矩阵输入自适应贝叶斯参数化，可添加最少的参数和计算。令人惊讶的是，贝叶斯扩展不仅产生了经过良好校准的不确定性估计，而且我们方法所基于的自适应噪声注入也显着提高了预测准确性，缩小了在自然语言推理和视觉任务中与完整 微调 的差距。当应用于金属有机框架中的带隙预测时，BaLoRA 会产生零样本测试时间不确定性估计，与训练有素的 LoRA 模型集合相比，该估计与模型误差的相关性更强，并且通过计算单调改进而不牺牲准确性。