JanusMesh：通过跨空间去噪快速、零射击 3D 视觉错觉生成

创建 3D 视觉错觉，即从不同视角揭示完全不同语义的单个 3D 网格，是一项令人着迷但艰巨的挑战。现有的基于优化的方法速度缓慢并且会产生过饱和的颜色。相比之下，朴素的缝合方法无法产生几何上连贯的物体。这会导致明显的不自然接缝和语义泄漏。在本文中，我们提出了一个快速的 无需训练 框架，用于生成文本驱动的 3D 视觉错觉。我们的方法将生成分为两个阶段。首先，我们提出了跨空间双分支去噪过程。该过程动态地将 3D 潜在图像解码到体素空间中，以进行 CLIP 引导的方向对齐和有符号距离场 (SDF) 混合，从而确保无缝的几何融合。其次，我们引入了一个视图条件纹理合成模块，该模块将视图特定的 2D 扩散先验投影并聚合到融合的几何体上。大量实验表明，我们的方法只需 3-5 分钟即可生成高度逼真的双语义 3D 幻象。它在几何完整性、语义可识别性和效率方面显着优于现有方法。项目页面：https://siang1105.github.io/JanusMesh.github.io/