从手绘草图生成几何一致的多视图场景

我们解决了一个新问题：从单个手绘草图生成几何一致的多视图场景。手绘草图是可以为多视图生成器提供的几何形状最贫乏的输入。它们通过抽象笔触传达场景意图，同时引入与任何一致的 3D 解释发生积极冲突的空间扭曲。之前没有方法尝试过这一点；现有的多视图方法需要照片或文本，而草图到 3D 方法需要多个视图或昂贵的每个场景优化。我们解决三个复杂的挑战；缺乏训练数据，需要从扭曲的 2D 输入进行几何推理，以及跨视图一致性，通过三个相辅相成的贡献：（i）通过自动生成和过滤管道构建的 $\sim$9k 草图到多视图样本的精选数据集； (ii) 并行相机感知注意适配器 (CA3)，将几何归纳偏差注入视频 Transformer； (iii) 从运动结构重建得出的稀疏对应监督损失 (CSL)。我们的框架在单个去噪过程中合成所有视图，无需参考图像、迭代细化或每个场景优化。我们的方法显着优于最先进的两阶段基线，将真实性 (FID) 提高了 60% 以上，几何一致性 (Corr-Acc) 提高了 23%，同时提供高达 3.7$\times$ 的推理加速。