CORTIVA：用于 EEG 和 MEG 到图像检索的补充视觉教师的候选分数融合

从非侵入性大脑活动中解码视觉体验是神经科学和脑机接口的核心。功能磁共振成像 (fMRI) 提供精细的空间细节，但其缓慢的血流动力学和繁琐的采集限制了时间解析解码。脑电图 (EEG) 和脑磁图 (MEG) 提供毫秒级分辨率，使图像检索引人注目：从一个神经反应和固定候选库中识别所观看的图像。与预训练视觉表示的对比对齐可以实现脑电图和脑磁图的零样本检索，但大多数系统在排序之前将异构视觉监督折叠成单个嵌入。这种早期整合对每个候选订单施加了一种相似的几何形状，并从最终排名中消除了特定于编码器的分歧。我们提出了 CORTIVA，一个候选分数融合框架，可以保留这种补充证据。三种解码路线与异构视觉目标对齐，独立对相同索引候选者进行评分，并在排名前仅组合它们的温度缩放得分向量。在 200 路 THINGS-EEG2 基准上，CORTIVA 在 10 名参与者中达到 73.5% 的 Top-1 和 95.3% 的 Top-5，比报告的最强基线高出 10.3 和 5.4 个百分点。通过特定模态的神经编码器，相同的融合原理在 THINGS-MEG 上达到 42.4% 的 Top-1。匹配的路线删除再训练和四个权重控制表明，CORTIVA 的增益来自于整合互补路线分数，并以统一的权重持续存在，而不需要专门的权重规则。独立的 DINOv2 分析进一步重现了局部误差邻域和后验神经视觉对应关系。这些结果将候选分数融合确立为神经图像检索嵌入级合并的简单且可测试的替代方案。