用于跨主题脑电图到图像检索的结构化视觉目标学习

跨主体脑电图到图像检索需要对源主体进行训练的神经表示，以与看不见的主体的视觉嵌入空间保持一致。虽然现有方法主要关注脑电图方面，但我们从视觉目标的角度解决这个问题。我们的方法保留了感知编码器的空间信息，将其补丁网格转换为一组紧凑的学习视觉视图，并使用块结构、内容相关的路由器为每个图像聚合它们。通过跨源主题的 MMD 正则化对比学习，与 EEG 编码器联合学习目标。对于部署，我们提出了一种免训练的表示细化，可以在不更新任何编码器的情况下对齐冻结的嵌入。在THINGS-EEG2上的留一主题评估下，结构化目标达到了35.3％/65.6％的Top-1/Top-5准确率，是比较方法中最好的。细化将其提高到 48.1%/77.1%，比最强的比较方法高出 18.5% 的 Top-1 增益，改善了所有 10 个保留的科目。