BrainJanus：跨大脑、视觉和语言理解和生成的统一模型

模拟外部感觉刺激和内部神经活动之间的双向对应关系已成为神经科学的关键前沿。然而，现有方法主要将大脑编码和解码视为孤立的任务，严重依赖单模态对齐和外部先验，而忽视了大脑作为多模态集成系统的内在本质。为了解决这些限制，我们提出了 BrainJanus，这是第一个将大脑、视觉和语言集成在单一框架内的统一大脑模型。具体来说，我们引入了统一大脑标记器，将连续神经动力学量化为与共享 Omni 空间中的视觉和语言表示对齐的离散标记。在此基础上，我们利用一体式自回归架构，利用下一个词元预测来实现无缝的任意生成，其中包括图像到大脑和文本到大脑编码，以及大脑到图像和大脑到文本解码。大量实验表明，BrainJanus 在不同的基准测试中均实现了卓越的性能。此外，我们的框架展示了零样本泛化并保留了可解释的生物拓扑，突出了其作为通用大脑建模范例的潜力。代码可在 \href{https://github.com/HaitaoWuTJU/BrainJanus}{GitHub} 获取。