fMRI2Face：用于动态人脸重建的全高清 fMRI 视频数据集和几何引导神经解码框架

从大脑活动重建动态人脸提供了一种有效的方法来研究大脑如何感知身份、表情和面部运动。然而，基于功能磁共振成像的面部解码的进展受到稀缺的受控高分辨率神经数据集以及难以恢复特定身份外观和随时间变化的面部动态的方法的限制。我们推出了 fMRI-Face，这是第一个与以 1920×1080分辨率渲染的可控全高清数字人脸视频配对的 fMRI 数据集。在扫描过程中，参与者观看逼真、无背景的面部视频，并控制身份、表情和头部姿势，同时记录功能磁共振成像活动。生成的数据集包含 62,856 个配对的功能磁共振成像视频样本，为研究动态面部感知和重建提供了结构化资源。在此数据集的基础上，我们提出了 fMRI2Face，这是一种几何引导的神经视频解码框架，用于从 fMRI 信号重建面部视频。 fMRI2Face 从大脑活动中派生出两种互补的神经控制：脑源性外观上下文（捕获全局身份相关的视觉属性）和可变形 3D 面部控制（为姿势、表情和非刚性面部动态提供明确的几何感知指导）。这些控制通过神经控制视频扩散与辅助潜在完成相集成，从而能够直接根据大脑活动进行高保真面部视频重建。实验表明，与代表性神经解码基线相比，fMRI2Face 持续提高了重建保真度、身份保留、面部几何形状和运动一致性。 fMRI-Face 和 fMRI2Face 共同建立了一个用于研究动态面部感知的受控平台，并为基于 fMRI 的数字人体重建提供了新的基准。