通过测试时部分观察指导图像到 3D 的生成

图像到 3D 模型可以从单个 RGB 图像生成视觉上引人注目的 3D 资源，但它们的几何形状通常仅受到可用观察结果的松散约束，从而限制了它们在需要几何保真度的应用程序中的使用。然而，在许多现实世界的设置中，对象的部分几何观察可能在测试时可用。我们引入了 无需训练 框架，用于将此类证据合并到预训练的图像到 3D 生成模型中，而无需重新训练或微调。为此，我们使用在模型的占用表示上定义的光线一致的观察可能性来指导生成，结合表面占用和自由空间证据。应用于 SAM 3D 及其多视图扩展，我们的方法大大提高了不同级别的可观察性的几何保真度以及视觉质量。我们的结果表明，预训练的图像到 3D 模型可以通过明确的测试时间指导有效地整合部分几何观察结果，补充其学习的生成先验，而无需修改底层模型。