文本引导的多尺度频率表示自适应

参数高效的 微调 方法引入了少量训练参数，使预训练模型能够快速适应新的数据分布。虽然这些方法显示出有希望的结果，但它们也表现出明显的局限性。首先，大多数现有方法在信号空间域中操作，这导致大量的信息冗余。其次，大多数现有方法利用固定提示或适配层，未能充分考虑信号的多尺度特征。为了应对这些挑战，我们提出了多尺度频率适配器（FreqAdapter），它集成了文本信息并在频域中对信号进行多尺度微调。此外，我们引入了多尺度适应策略来优化不同频率范围的感受野，进一步增强模型的表示能力。对多模态模型（包括 CLIP 和 LLaVA）的大量实验表明，FreqAdapter 显着提高了性能和效率。 FreqAdapter 以最小的成本提高了性能，并在一个 epoch 内快速收敛。代码可在 https://github.com/Kelvin-ywc/FreqAdapter 获取。