通过二阶统计进行视觉语言模型的革兰氏锚定即时学习

参数高效的即时学习已成为使视觉语言模型（VLM）适应下游任务的事实上的标准。现有方法主要侧重于将文本提示与一阶视觉特征（即空间特征图）对齐。虽然对于细粒度语义区分有效，但我们认为仅依靠一阶信息不足以实现鲁棒自适应，因为这些空间纠缠的特征非常容易受到域转移和局部噪声的影响。在这项工作中，我们提出了通过二阶统计进行视觉语言模型的 \textbf{Gram-Anchored Prompt Learning (GAPL)}，这是一个将局部语义对齐与全局结构一致性相协同的框架。在方法上，我们通过 \textbf{Gram 矩阵} 引入了一个额外的二阶统计流，增强了标准的一阶空间交互。通过将提示锚定到这些二阶先验，我们的方法使语言表示能够动态适应不同领域的统计分布变化。大量实验表明了二阶特征的有效性，并在各种基准测试中展示了 GAPL 令人信服的性能。