LoRA 微调景观的细粒度分析及其对数据选择的影响

低秩适配（LoRA）已成为参数高效微调的标准方法，但一个基本的实际问题仍未解决：适配器秩应如何选择？太小的秩可能会导致条件不佳的优化环境，而不必要的大秩会首先牺牲激励 LoRA 的效率。现有的理论分析仅对这种权衡提供有限的指导，并且它们的保证通常是在限制性的理论背景下建立的。我们基于非凸低秩矩阵传感的现代结果，通过为 LoRA 开发一种更加清晰的景观理论来解决这一差距。我们的核心观点是，适当的适配器秩应取决于数据引发的优化几何结构的质量，而不是仅取决于模型。为了形式化这种联系，我们引入了 LoRA-RIP，这是一种数据相关的受限等距度量，它描述了沿着 LoRA 相关低秩方向的交叉熵 (CE) 目标的条件。我们证明，足够的秩过度参数化，以及由 LoRA-RIP 常数明确确定的所需秩，消除了虚假的局部最小值，从而将现有的基于 RIP 的保证扩展到经典的 1/3 机制之外。这种表征进一步使得能够在固定秩预算下进行有原则的数据选择。跨语言和视觉任务的实验支持了这些理论预测，表明秩和数据质量是两个耦合的资源，应该共同考虑以获得更高效和可靠的 LoRA 微调。