Brain3D：通过多模态推理对视觉表示进行 EEG 到 3D 解码

解码脑电图 (EEG) 中的视觉信息最近取得了有希望的结果，主要集中在从大脑活动中重建二维 (2D) 图像。然而，三维 (3D) 表示的重建在很大程度上仍未得到探索。这限制了几何理解并降低了神经解码在不同上下文中的适用性。为了解决这一差距，我们提出了 Brain3D，这是一种基于 EEG 到图像解码的 EEG 到 3D 重建的多模态架构。它使用几何感知生成推理逐步将神经表征转换为 3D 域。我们的管道首先从 EEG 信号生成视觉基础图像，然后采用多模态 大语言模型 提取结构化 3D 感知描述，指导基于扩散的生成阶段，其输出最终通过单图像到 3D 模型转换为连贯的 3D 网格。通过将问题分解为结构化阶段，所提出的方法避免了直接 EEG 到 3D 的映射，并实现了可扩展的大脑驱动 3D 生成。我们进行全面评估，将重建的 3D 输出与原始视觉刺激进行比较，评估语义对齐和几何保真度。实验结果证明了该架构的强大性能，实现了高达 85.4% 的 10 路 Top-1 EEG 解码精度和 0.648 CLIPScore，支持多模态 EEG 驱动的 3D 重建的可行性。