论文

GLADOS:从无重叠视角生成几何一致的三维重建

Mind the Gap: Geometrically Accurate Generative Reconstruction from Disjoint Views

应用与实践视觉感知与空间理解

摘要

3D 视觉系统从根本上受到对视觉重叠的依赖的限制:重建方法需要它进行几何对齐,而生成模型则使用它来强制多视图一致性。这种限制在现实场景中尤其严重,例如分布式群体机器人或众包数据收集,在这些场景中,捕获空间和外观重叠方面的重叠视角通常是不可能的。我们引入了不相交视图的生成重建作为新的范式,建立了全面的数据集,并提出了针对零重叠场景的专门评估指标。我们的基准测试表明,现有的最先进的方法在这项任务上失败了,产生了不连贯的几何图形或语义上不连贯的重建。为了解决这些限制,我们提出了 GLADOS,一个通用的模块化框架,它通过三个阶段运行:(1)生成桥接,其中基础模型综合中间视角来连接不相交的输入; (2)鲁棒粗略3D重建,通过全局对齐建立粗略几何支架,吸收生成过程中的局部矛盾; (3)迭代上下文扩展和一致性优化,以填充缺失区域并统一重建。作为一个与架构无关的框架,GLADOS 能够无缝集成生成、重建和修复方面的未来进步。源代码位于:https://github.com/gwilczynski95/GLADOS。