超越 LoRA：稀疏性引发的适应是否更好？

低秩适应 (LoRA) 及其变体为完整的 微调 预训练模型提供了一种内存和计算效率高的替代方案。然而，这些方法的相对普遍性以及对低秩更新的结构限制如何保持有效的适应性能仍然存在问题。我们提出了一个历史框架，涵盖过去（完整的 微调 和原始 LoRA）、现在（LoRA 的不同变体），并通过在现有 LoRA 变体中引入稀疏性来提出更简单、更便宜、参数高效的扩展：廉价 LoRA（cLA），用另一个固定因子（确定性或随机变体随机）和链式循环变体训练单个低秩因子， ${c}^3$洛杉矶。我们将 cLA 构建为非对称 LoRA 的结构化实例，充当完整 微调 的受控列子空间限制。我们推导了这些变体的信息论泛化误差界限，标志着该领域的首批努力之一。根据经验，我们评估了 10 个预训练模型和 14 个数据集的 11 个 微调 方法，使用损失景观和谱分析等工具分析微调模型的性能和泛化能力。尽管微调模型对预训练模型、数据集和其他因素很敏感，但我们的研究表明，限制基于 LoRA 的 PEFT 方法对稀疏、结构化列空间的适应在参数匹配基线的任务中仍然具有竞争力，同时减少高达 10% 的训练时间和峰值 GPU 内存高达 15%，即使是简单的、非优化的稀疏实现。与常用的分析工具相比，我们的理论和经验概括措施为经济有效的适应提供了更加一致和原则性的方法。概述和代码位于：https://elicaden.github.io/Beyond_LoRA/。