MindAU：通过双流流形对齐进行脑电图调节的面部动作单元编辑

最近的大脑解码研究在从神经信号重建外部感知的视觉内容方面取得了实质性进展。然而，使用脑电图 (EEG) 记录来指导面部表情编辑在很大程度上仍未被探索，并且提出了一个独特的挑战：它需要从嘈杂的脑电图信号中识别与面部动作相关的模式，并将其扎根于局部的、保留身份的表情编辑中，而不是恢复受试者所看到的内容。在本文中，我们研究了用于细粒度面部动作单元（AU）控制的脑电图条件面部图像编辑，并提出了 MindAU，这是一个用于根据脑电图信号控制面部 AU 编辑的统一框架。 MindAU 首先通过时间掩蔽重建和 AU 分类监督来学习抗噪声和 AU 判别性 EEG 表示。然后，它通过双流流形对齐来弥合模态差距，将 EEG 特征与 AU 级文本语义和 Qwen2.5-VL 多模态空间中的身份减少视觉位移轨迹对齐。最后，MindAU 将脑电图感知多模态旋转位置嵌入、地标引导参考掩蔽和 AU 感知区域监督整合到基于多模态扩散的编辑器中，以实现高保真身份保留编辑。我们还推出了 E-CAFE，这是一个针对脑电图条件动作单元面部编辑的策划基准，具有配对的脑电图面部编辑样本和标准化评估协议。大量实验证明了 MindAU 的有效性，并表明它有潜力成为未来面部神经肌肉疾病患者辅助表达技术的一步。