通过双路径结构对应和语义连续性进行视图一致的 3D 场景编辑

文本驱动的 3D 场景编辑最近引起了越来越多的关注。大多数现有方法都遵循渲染-编辑-优化管道，其中多视图图像从 3D 场景渲染，使用 2D 图像编辑器进行编辑，然后用于优化底层 3D 表示。然而，跨视图不一致仍然是一个主要瓶颈。尽管最近的方法引入了几何线索、跨视图交互或视频先验来缓解这个问题，但它们仍然在很大程度上依赖于推理时间同步，因此在鲁棒性和泛化方面仍然受到限制。在这项工作中，我们从分布角度重新构建多视图一致的 3D 编辑：3D 场景编辑本质上需要跨视点的联合分布建模。基于这一见解，我们提出了一种视图一致的 3D 编辑框架，该框架将跨视图依赖性明确引入到编辑过程中。此外，由于观察到结构对应性和语义连续性依赖于不同的跨视图线索，我们引入了一种双路径一致性机制，包括投影引导的结构指导和补丁级语义传播，以实现有效的跨视图编辑。此外，我们构建了一个配对的多视图编辑数据集，为学习编辑场景中的跨视图一致性提供可靠的监督。大量的实验表明，我们的方法可以实现卓越的编辑性能，并为复杂场景提供精确一致的视图。