CARE-LoRA：内存高效 LoRA 的压缩激活重建

随着大型预训练模型的规模不断增长，微调 它们在有限的内存预算下变得越来越具有挑战性。低秩自适应 (LoRA) 是目前最广泛采用的参数高效 微调 (PEFT) 方法之一，它通过仅优化低秩自适应矩阵来缓解这一挑战，从而大大减少可训练参数的数量。随着参数开销的大幅减少，为反向传播保留的激活已成为 LoRA 微调 期间的主要剩余内存瓶颈。为了解决这个问题，我们提出了 CARE-LoRA，一种数据感知的压缩激活重建框架。通过利用 LoRA 固有的投影结构，CARE-LoRA 用 LoRA 分支自然产生的低秩压缩激活代替了完整的输入激活。它在前向传播期间进一步计算轻量级重建矩阵，附加计算成本可以忽略不计，该矩阵在反向传播期间用于重建梯度信号，从而保持 LoRA 矩阵完全可训练。跨不同模型和下游任务的广泛实验表明，在大幅减少总体内存占用的同时，与标准 LoRA 和代表性 LoRA 变体相比，CARE-LoRA 实现了有竞争力甚至更优越的性能。我们的代码可在 https://github.com/fishandyu/CARE-LoRA 上公开获取。