低秩适应中等级分配的统计推断

低秩自适应（LoRA）已成为 大语言模型 广泛使用的参数高效的 微调 方法。由于不同的模块和层对下游自适应的贡献可能不同，因此在固定参数预算下分配Rank资源是平衡效率、表达性和泛化性的重要问题。现有的自适应排名方法主要通过精心设计的重要性分数来解决这个问题，该重要性分数是根据梯度导出的敏感性和不确定性度量构建的，而没有明确的统计解释。在本文中，我们将 LoRA 排名分配制定为统计假设检验问题，并提出 StatLoRA，一种基于统计推断的排名分配方法。 StatLoRA 将每个 LoRA 组件与测试统计量相关联，并使用估计的 p 值来确定在规定的排名预算下应保留或修剪哪些组件。所提出的测试程序得到了我们随机优化器轨迹的中心极限理论的支持。特别是，我们为深度学习中广泛使用的优化器（包括 AdamW）建立了渐近正态性，并为假设检验中使用的建议组件分数推导了相应的渐近分布。我们在 DeBERTaV3-base、BART-Large 和 Qwen2.5-7B 的 LoRA 微调 上评估 StatLoRA 的自然语言理解、自然语言生成和问答任务。实验表明，在匹配的排名预算下，StatLoRA 的性能与普通 LoRA、AdaLoRA 和 IGU-LoRA 相当或更好。敏感性分析和实证诊断进一步支持了所提出的基于假设检验的分配规则的稳定性，并为成分分数的渐近理论提供了经验证据。