SpectralLoRA：低频结构足以适应 LoRA 吗？权重更新的频谱分析

我们对 LoRA 权重更新的谱结构进行了系统的实证研究。通过在四个 GLUE 基准（SST-2、MNLI、CoLA、QQP）上对 BERT-base 和 RoBERTa-base 训练后的适应矩阵进行 2D 离散余弦变换 (DCT) 分析，我们确定 LoRA 更新普遍由低频分量主导：平均而言，只有 33% 的 DCT 系数捕获了 90% 的总频谱能量。仅保留 10% 的频率系数即可将适配器存储减少 10 倍，同时在 SST-2 上仅牺牲 1.95 个百分点。值得注意的是，在 8 个模型任务对中的 3 个上，k=50% 的频率掩蔽比完整 LoRA 有所改善，这表明高频分量充当了适应噪声。我们进一步发现，在所有任务中，RoBERTa-base 比 BERT-base 具有更系统的频谱压缩性，并且任务复杂性决定了频谱敏感性：NLI 任务比情感分类需要更多的频率预算。随后的 SVD-DCT 相关分析（Pearson r=0.906，p<1e-9）将经验 33% 常数与 SGD 的谱动态联系起来（Olsen 等人，2025），为这一发现提供了理论基础。这些发现激发了 PEFT 的新设计原则：适应中的光谱稀疏性。