SceneExpander：通过自由形式视图插入进行文本引导的 3D 场景扩展

使用 3D 场景表示构建世界对于内容创建、模拟和交互体验越来越重要，但真正的工作流程本质上是迭代的：创建者在用户控制下反复扩展现有场景。受这一差距的启发，我们通过自由形式视图插入研究文本引导的 3D 场景扩展。从多视图图像捕获的真实场景开始，用户指定文本扩展意图，生成模型将其具体化为扩展场景覆盖范围的插入视图。与固定场景内的简单对象编辑或风格转换不同，插入的视图可能与原始重建3D不对齐，从而引入几何移位、幻觉内容或依赖于视图的伪影，从而破坏全局多视图一致性。为了应对这一挑战，我们提出了 SceneExpander，它将测试时适应应用于具有两个互补 蒸馏 信号的参数前馈 3D 重建模型：锚点 蒸馏 使用捕获视图中的几何线索稳定捕获的场景，而插入视图自 蒸馏 保留插入支持的预测以适应未对齐的视图。 ETH 场景和在线数据的实验表明，在错位情况下，扩展行为和重建质量得到了改善。