S2FT：稀疏频谱域中的参数高效 微调

参数高效 微调 (PEFT) 是通过 微调 仅少量参数使大型预训练模型适应下游任务的关键技术。最近基于傅立叶变换的方法进一步将微调参数规模缩小了仅 微调 几个频谱系数。其基本假设是权重变化δW是一个具有稀疏谱的空间域矩阵。然而，在本文中，我们观察到权重变化的频谱并不稀疏，而是呈幂均匀分布。这一事实意味着 微调 仅几个频谱系数不足以准确地模拟具有均匀频谱的权重变化。为了解决这个问题，我们建议寻求一种可逆变换，将具有稀疏频谱的潜在空间域矩阵变换为权重变化，然后在具有很少频谱系数的稀疏频谱域上执行PEFT，称为S2FT。为了寻求这种转换，我们首先预先估计粗略的权重变化作为先验。然后，受稀疏谱通常对应于局部平滑空间结构的启发，我们将这种变换视为对预先估计的权重变化进行行和列重排操作，平滑空间结构，同时保留神经元的结构信息。最后，我们提出以简单的最近邻搜索方式解决重排搜索问题，从而获得可逆变换。大量结果表明，我们的 S2FT 仅使用 0.08% 的训练参数即可实现卓越的性能。