EEG2Vision：认知神经科学中基于多模态脑电图的二维视觉重建框架

由于非侵入性脑电图 (EEG) 的空间分辨率低且噪声高，尤其是在现实的低密度电极配置下，从非侵入性脑电图 (EEG) 重建视觉刺激仍然具有挑战性。为了解决这个问题，我们提出了 EEG2Vision，这是一个模块化的、端到端的脑电图到图像框架，它可以系统地评估不同脑电图分辨率（128、64、32 和 24 通道）的重建性能，并通过提示引导的重建后增强机制来增强视觉质量。从脑电图条件扩散重建开始，增强阶段使用多模态 大语言模型 提取语义描述，并利用图像到图像扩散来细化几何和感知一致性，同时保留脑电图基础结构。我们的实验表明，语义解码精度随着通道减少而显着下降（例如，50 路 Top-1 Acc 从 89% 降至 38%），而重建质量略有下降（例如，FID 从 76.77 降至 80.51）。所提出的提升持续改善了所有配置的感知指标，在低通道设置中实现了高达 9.71% 的 IS 增益。一项用户研究证实了对增强重建的明显感知偏好。所提出的方法显着提高了使用低分辨率脑电图设备进行实时大脑 2 图像应用的可行性，有可能在实验室环境之外解锁此类应用。