视觉 Transformer 怎样以转喻电路理解抽象概念

我们研究当训练数据提供有限的直接参考证据时，视觉变形金刚如何基础抽象概念（例如，愤怒）。我们假设一种转喻基础机制，其中抽象预测由具体的、可解释的锚概念（例如火）驱动，这些概念将视觉信号与抽象语义联系起来。通过在 CLIP 和 DINO 视觉编码器上应用转码器，我们恢复了可以与更具体概念的语义标签相关联的中间特征，并追踪它们在抽象概念识别背后的电路中的贡献。在精心策划的图标数据集上进行的实验揭示了结构化的转喻电路，其中感知基元主导早期层，类物体锚先于抽象目标。相反，包含渲染文本的图像会采用独特的感知到文本的路径。因果干预进一步证实转喻中间体在功能上参与了抽象概念的基础。