论文
EPO:通过基于边缘的姿态优化增强 3D 基础模型
EPO: Boosting 3D Foundation Models with Edge-based Pose Optimization
摘要
我们引入了 \textbf{基于边缘的姿态优化 (EPO)},这是一种无轨几何优化框架,专门设计用于增强 3D 基础模型生成的运动结构重建。这些模型通过绕过传统流程中耗时的特征提取和匹配阶段来实现快速推理,在传统流程中,每个 3D 点和多个图像(称为轨迹)之间建立明确的对应关系。然而,它们的几何精度目前低于传统管道。虽然这个问题可以在后处理步骤中通过类似捆绑调整的细化来解决,但这样做需要提取特征轨迹,从而破坏了原来的速度优势。相反,我们的完全可微框架使用边缘图对齐作为几何优化的代理,完全避免特征提取和轨道构建。通过对多个数据集和任务的广泛评估,我们证明 EPO 匹配或优于类似捆绑调整的方法,同时需要显着降低的运行时间和内存。值得注意的是,它减少的内存占用使得 EPO 适合消费级硬件,而竞争性的细化方法无法在消费级硬件上运行。