SpecPL：解开光谱粒度以实现快速学习

现有的 VLM 即时学习表现出模态不对称性，主要是优化文本标记，同时仍然依赖冻结的视觉编码器作为整体提取器，并忽略了细粒度​​区分所必需的光谱粒度。为了弥补这一点，我们引入了快速学习的解开光谱粒度（SpecPL），它通过反事实颗粒监督从新颖的光谱角度来实现即时学习。具体来说，我们利用冻结的 VAE 将视觉信号分解为语义低频频带和粒度高频细节。冻结的视觉语义库将文本表示锚定到通用低频不变量，从而减轻过度拟合。至关重要的是，细粒度区分是由反事实颗粒训练驱动的：通过排列高频信号，我们迫使模型明确区分视觉粒度和语义不变性。独特的是，SpecPL 可以作为通用的即插即用增强器，通过视觉侧指导重振 CoOp 和 MaPLe 等面向文本的基线。 11 个基准测试的实验展示了具有竞争力的最先进性能，达到了 81.51% 调和平均精度的新性能上限。这些结果验证了谱解离与反事实监督有效地弥合了稳定性与泛化权衡中的差距。代码发布于 https://github.com/Mlrac1e/SpecPL-Prompt-Learning。