SMoA：用于参数高效 微调 的矩阵谱调制适配器

随着模型参数数量的增加，参数高效的 微调 (PEFT) 已成为定制预训练 大语言模型 的首选。低秩适应（LoRA）采用低秩更新方法来模拟全参数微调，广泛用于减少资源需求。然而，降低秩会遇到代表能力有限的挑战。理论表明，秩为 r 的 LoRA 微调 向预训练权重矩阵的前 r 个奇异值收敛。随着秩的增加，更多的主奇异方向被保留，这通常会提高模型的性能。然而，较大的秩也会引入更多的可训练参数，从而导致更高的计算成本。为了克服这一困境，我们提出了 SMoA，一种 \textbf{S}pectrum \textbf{Mo}dulation \textbf{A}dapter，它可以在较小的参数预算下扩大谱感知更新的可访问范围。 SMoA 将层划分为多个对齐的矩阵谱块，并将一个块内 Hadamard 调制的低秩分支应用于每个对角块，从而产生更广泛的预训练矩阵谱方向覆盖范围。我们提供多项任务的理论分析和实证结果。在我们的实验中，SMoA 在当前较低预算设置下比 LoRA 和竞争性 LoRA 风格基线提高了平均性能。