论文
ScaleBlind:未知尺度下的点云补全
ScaleBlind: Point Cloud Completion under Unknown Scale
摘要
点云补全旨在从部分点云推断出完整的 3D 形状,并作为重建、编辑和模拟等下游任务的基本构建块。尽管最近取得了进展,但现有的基于学习的方法通常在训练和测试时间归一化过程中隐含地依赖于对真实形状尺度(GT尺度)的访问,并假设在现实世界推理中不可用的特权信息。这种隐藏的假设限制了实际部署,并且一旦删除了 oracle GT-scale 提示,可能会导致严重的完成工件,例如完成过度或不足以及嵌套 shell。我们观察到,最近的基础图像生成模型表现出强大的理解对象和几何形状以及生成多视图一致渲染的能力,这使得它们成为无 GT 尺度 3D 完成的有希望的先验。受这一见解的启发,我们提出了 ScaleBlind,这是一种新颖的框架,它利用基于基础模型的图像补全直接从部分输入恢复全局比例,然后忠实地生成 3D 补全。具体来说,ScaleBlind 从渲染的部分视图中梦想出完整的多视图外观,将推断的缺失区域提升回 3D 以获得几何感知的粗略完成,并通过强大的跨模式融合网络与原始部分点云进一步细化它。通过利用 2D 基础先验,我们的方法消除了在推理时访问 GT 规模信息的需要。此外,它还提供了 2D 生成先验和 3D 点云完成之间的原则性桥梁。大量的实验证明了我们框架的优越性,使 ScaleBlind 成为点云完成任务的最新技术。