重新思考用 CLIP 进行大脑解码：对抗鲁棒性的作用

大脑解码旨在通过从大脑信号推断刺激相关的表征来揭示神经机制。在功能磁共振成像研究中，这通常是通过将功能磁共振成像响应映射到计算模型的潜在表示来实现的。近年来，CLIP因其丰富的视觉语言嵌入空间而成为脑解码的热门选择。然而，将 fMRI 信号与 CLIP 表示对齐仍然具有挑战性。由于 CLIP 没有针对神经排列进行明确优化，因此其表示可能会捕获仅部分反映在大脑活动中的统计预测线索，从而限制了解码性能。在本文中，我们研究了对抗性鲁棒表示是否可以改善 CLIP 的神经解码。对抗性训练抑制非鲁棒特征并促进更稳定、感知结构化的表征，这可能更好地与大脑活动保持一致。我们通过修复 fMRI 解码器并仅改变 NSD 和 GOD 数据集上 fMRI 图像检索和零样本分类任务的目标表示（标准 CLIP 与稳健变体）来评估这一点。实证结果表明，这种简单的改变持续提高了任务性能，并在多个指标之间产生了更强的一致性。归因分析进一步揭示了标准 CLIP 与其稳健变体之间的一致性始终较低，这表明对抗稳健性重新组织了视觉表示中的特征重要性。这些发现表明，目标表示的选择会影响神经解码性能，并且对抗性鲁棒性可能作为大脑解码的有用标准。