用于脑语言对应的边距正则化结构化语义对齐

随着大语言模型的快速进展，脑语言解码取得了令人瞩目的进展。然而，目前尚不清楚解码的内容是否真正反映了神经表征，或者很大程度上是由语言模型本身重建的。这种模糊性限制了可解释性，并阻碍了对大脑与语言内在对应关系的研究。为了应对这一挑战，我们提出 MD-SigLIP。这种边距正则化的结构化语义对齐框架直接将大脑嵌入与共享语义空间中的文本嵌入对齐，从而实现基于检索的解码。该公式能够对神经表示和语言语义之间的对应关系进行显式建模。基于重复感知 sigmoid 对比学习，我们引入了列表式边距正则化项，该项强制执行正语义簇和负样本之间的结构化排名约束。通过同时对多重正向语义结构和基于边缘的排序进行建模，该方法捕获了神经信号中反映的语言嵌入的多种组织。实验证明了在全词汇和子集评估设置下最先进的检索性能。