TaRA：训练感知低秩适应初始化

低秩适应（LoRA）已成为参数高效 微调（PEFT）的事实上的标准，但由于低秩分解带来的信息瓶颈，其性能对初始化高度敏感。现有方法试图通过利用预训练权重、激活或梯度的主要成分来构建高质量的 LoRA 初始化。然而，这些方法并没有直接考虑全秩模型的训练动态。在本文中，我们提出了训练感知低秩适应初始化（TaRA），一种初始化 LoRA 的方法，使得低秩因子引起的梯度非常接近相应满秩权重矩阵的梯度。 TaRA 源自数学公式，在训练开始时提高了梯度保真度，同时引入的计算开销可以忽略不计。在各种具有挑战性的 微调 任务中，TaRA 始终优于先前最先进的方法，为有效的 LoRA 初始化建立了简单、稳健且可扩展的解决方案。