GiVA：基于向量的适应的梯度通知基础

随着模型尺寸不断增大，参数高效的 微调 已成为完整 微调 的强大替代品。虽然 LoRA 在这些方法中被广泛采用，但最近的研究已经探索了基于向量的自适应方法，因为它们具有极高的参数效率。然而，这些方法通常需要比 LoRA 更高的等级才能匹配其性能，从而导致训练成本增加。这项工作介绍了 GiVA，一种基于梯度的初始化策略，用于基于向量的适应。它实现了与 LoRA 相当的训练时间，并保持了基于向量的自适应的极端参数效率。我们通过不同的基准评估 GiVA，包括自然语言理解、自然语言生成和图像分类。实验表明，我们的方法始终优于现有的基于向量的适应方法和 LoRA 或实现具有竞争力的性能，同时将秩需求降低八倍（$8\times$）。