BoostLoRA：通过提升适配器来提高有效排名

参数高效的 微调 (PEFT) 方法面临适配器大小和表达能力之间的权衡：超低参数适配器仅限于固定的低秩子空间，即使经过扩展训练也会限制性能。我们提出了 BoostLoRA，这是一种梯度提升框架，它通过在当前模型出错的示例上迭代训练和合并最小适配器来克服这一限制。 ROTATE SVD 基础策略将每一轮分配给一个正交子空间，因此累积有效排名随轮数线性增长，同时每个适配器保持超低秩。合并后，适配器将被丢弃，推理开销为零。在Qwen2.5-3B上，BoostLoRA在GSM8K上达到89.1%，在MATH-500上达到68.8%，超越了最好的单次超低参数适配器（TinyLoRA）和完整的微调；在代码生成方面，MBPP 上达到 57.2%，HumanEval 上达到 80.4%，而完整的 微调 则降至零样本基线以下。我们还展示了使用 ESM2-650M 和交叉熵训练进行蛋白质结合分类的跨架构迁移。据我们所知，BoostLoRA 是第一个有效排名随着训练而增长的 PEFT 方法，将每轮参数成本与总表示能力分开。