GeoFace：具有几何约束扩散的一致多视图人脸生成

我们提出了 GeoFace，一种几何约束的多视图扩散框架，用于从单个输入生成一致的面部。虽然最近的多视图扩散模型在每个视图级别实现了真实感合成，但它们缺乏明确的机制来强制跨视图共享 3D 结构，通常会导致视点之间的几何图形不一致。为了解决这个问题，GeoFace 提出了一个统一的双流框架，用于联合生成多视图 RGB 图像和 3D 人脸几何图形，其中外观流和几何图形流通过共享注意力层进行交互。为了鼓励两个流相互约束，我们引入了几何引导的注意对齐损失，它通过 3D 一致的对应关系来监督外观和几何标记之间的交叉注意，使外观流能够正确引用姿势不变的几何线索，以实现跨视点的稳健对齐。几何图形表示为规范的 UV 位置图，源自适合多视图观测的 FLAME 网格，充当所有生成视图之间的视图不变共享约束。 RenderMe-360 和 NeRSemble 上的实验表明，GeoFace 在视觉质量和跨视图几何一致性方面始终优于现有方法，有助于更高效的 3D 重建。