用于多视图一致组合 3D 生成的包容性交互式碰撞

随着文本到图像扩散模型的发展，3D 生成领域的最新突破取得了显着进展。然而，现有方法仍然存在两个实际挑战：（1）它们主要生成单个 3D 对象，但由于缺乏合理交互中高斯基元的建模，很难生成多对象组合 3D 资产。 (2) 在 3D 优化过程中，它们经常会遇到跨视图不一致的问题，因为 Score 蒸馏 采样本质上是在每个单一视图上执行的，不可避免地会导致跨视图幻觉。为了解决上述问题，我们提出了 I2C-3D，这是一种基于优化的新颖方法，用于生成具有合理交互的多视图一致组合 3D 资产。具体来说，我们提出了一种包容性交互碰撞策略来引导高斯基元自然地出现在合理的交互区域中，从而确保组合场景中的对象以物理上合理且视觉上连贯的方式交互。此外，为了增强多视图一致性，设计了多视图自适应评分 蒸馏 采样，通过调整跨视点的实例标记和空间标记的注意图，从预训练的扩散模型中提取多视图一致性先验和布局先验。受益于上述精心设计，I2C-3D不仅可以生成高保真多视图一致的合成3D资源，而且还支持灵活的3D编辑，方便复杂的场景生成。大量实验证明我们的 I2C-3D 在生成质量和多视图一致性方面优于现有方法。