论文

长尾自适应流匹配与显式条件一致性指导,实现精确的多模态人脸合成

Long-Tail Adaptive Flow Matching with Explicit Conditional Consistency Guidance for Precise Multimodal Face Synthesis

模型训练监督微调与指令调优

摘要

尽管基于扩散的方法大大提高了多模态人脸合成的可控性,但它们的语义对齐仍然不是最佳的,因为大多数现有方法依赖于隐式潜在空间目标来对去噪变量和多模态条件之间的关系进行建模。这种隐式建模通常不足以强制合成人脸和条件输入之间的精确对应,特别是在长尾语义掩模分布下,其中稀有属性接收较弱的优化信号。为了解决这些限制,我们提出了 EC\textsuperscript{2}Face,这是一种多模式人脸合成框架,它通过显式语义监督和分布感知优化来改进语义对齐。首先,我们引入显式条件一致性指导(ECCG),它通过解码干净潜在的近似反向估计并显式地将合成图像与文本描述和语义掩模对齐,在像素空间中施加直接一致性监督。进一步设计了时间动态调制函数,以根据反向估计的时间步相关可靠性来调整监督强度。其次,我们提出了长尾自适应流匹配(LAFM),它根据语义属性频率重新加权空间优化信号,并使用归一化权重来保持训练期间的数值稳定性。重要的是,所有附加模块仅在训练期间使用,并且不会引入额外的推理开销。大量实验表明,EC\textsuperscript{2}Face 在生成质量和语义对齐方面始终优于竞争基线,在稀有属性的掩模准确性方面实现了 29.38\% 的改进。