超越提示：非分布形状的无条件 3D 反演

摘要

文本驱动的生成模型反演是操纵 2D 或 3D 内容的核心范例，解锁了许多应用程序，例如基于文本的编辑、样式转换或反演问题。然而，它依赖于生成模型对自然语言提示保持敏感的假设。我们证明，对于最先进的原生文本到 3D 生成模型，这种假设常常不成立。我们确定了一种关键故障模式，其中生成轨迹被拖入潜在的“水槽陷阱”：模型对即时修改变得不敏感的区域。在这些机制中，对输入文本的更改无法以改变输出几何形状的方式改变内部表示。至关重要的是，我们观察到这并不是模型 \textit{geometric} 表达能力的限制；相同的生成模型具有产生各种形状的能力，但正如我们所证明的那样，它们对分布外 \textit{text} 指导变得不敏感。我们通过分析生成模型的采样轨迹来研究这种行为，并发现仍然可以通过利用模型的无条件生成先验来表示和生成复杂的几何形状。这为基于文本的 3D 形状编辑提供了一个更强大的框架，通过将模型的几何表示能力与其语言敏感性分离来绕过潜在的汇。我们的方法解决了当前 3D 管道的局限性，并实现了对分布外 3D 形状的高保真语义操作。项目网页：https://daidedou.sorpi.fr/publication/beyondprompts