BaRA：参数高效微调中的贝叶斯自适应秩分配

虽然低秩适应 (LoRA) 通过将特定于任务的更新限制到固定的低秩子空间来实现高效的 微调，但这种严格的设计限制了表示灵活性，并且常常导致过度自信的预测和错误校准的不确定性，尤其是在低数据情况下。最近的贝叶斯 LoRA 变体通过对适应参数的后验分布进行建模来改进不确定性估计。然而，这些方法通常依赖于固定的或启发式确定的秩，忽略了适应能力固有的上下文依赖性质。在本文中，我们提出了 BaRA，一种用于参数高效 微调 的贝叶斯自适应秩分配框架。受概率主题模型的启发，BaRA 通过激活稀疏的、上下文相关的解开潜在因子子集来动态分配适应能力，从而实现有效秩的实例级变化。这种贝叶斯公式提供了有原则的、数据驱动的容量控制，减少了过度参数化，同时保留了表达能力。除了建模贡献之外，我们还提供了复杂性理论泛化分析，表明 BaRA 的泛化差距取决于由全局局部门引起的学习联合有效秩 $\bar{s}_{Φ,θ}$，而不是最大秩 $r$。这一结果解释了为什么稀疏自适应秩分配可以降低有效假设复杂性，同时保留依赖于输入的表达能力。对各种自然语言基准的大量实验表明，与标准 LoRA 和现有的贝叶斯 LoRA 变体相比，BaRA 持续提高了预测性能、鲁棒性和不确定性校准。