论文

FlowObject:用于桥接生成先验和重建保真度的流程控制

FlowObject: Flow Steering for Bridging Generative Priors and Reconstruction Fidelity

模型推理解码与生成控制

摘要

从少量随意拍摄的图像中恢复对象的完整 3D 表示仍然是一项重大挑战。最近的 3D 生成模型,特别是基于 Flow-Matching (FM) 的模型,可以合成高质量的纹理资源;然而,它们经常遭受“综合偏差”,即学习的先验凌驾于观察证据之上,并且与观察到的实例缺乏一致性。相反,基于优化的方法(例如 3D 高斯溅射 (3DGS))在可见表面上提供了高保真度,但无法推理未观察到的几何形状。在本文中,我们提出了 FlowObject,一个将稀疏视图 3D 重建重新表述为 无需训练 引导逆问题的框架。我们的方法应用双空间引导策略来引导流匹配模型的常微分方程(ODE)轨迹,从而能够通过学习的生成先验完成看不见的区域,同时强制与现实世界的观察严格一致。通过集成 3DGS 细化阶段,FlowObject 进一步弥合了“合成外观”生成输出和照片级真实重建之间的差距。合成数据集和真实世界数据集的综合基准表明,当前最先进的方法往往难以同时实现几何完整性和观察一致性,特别是在严重遮挡的情况下。相比之下,我们的方法在几何完整性和依赖于视图的外观保真度方面都显着优于最先进的生成模型和基于优化的框架。