ReLift将预训练2D追踪与3D几何输出修复为稠密三维轨迹

单目视频的密集 3D 跟踪需要随着时间的推移建立点对应关系，估计它们的深度，并推断它们在遮挡期间的轨迹。现有方法通常联合学习这些任务，鉴于 4D 监督的稀缺性，这是一个艰巨的目标。我们证明，强大的预训练 2D 跟踪器和 3D 几何模型提供了有效的基础：由二维提升到三维的轨迹，简单地插值遮挡段，已经可以与使用相同几何形状的专用 3D 跟踪器相媲美。然而，提升后的轨迹继承了对应和深度误差，并且在遮挡下，它们的深度来自遮挡物而不是跟踪点。我们引入了 ReLift，这是一种高效的前馈框架，可将密集 3D 跟踪重塑为几何轨迹修复和补全。其核心是，轨迹校正器沿着轨迹和跨轨迹交替关注，以保留可靠的观察结果、修复损坏的位置并补全缺失的运动。仅使用几何输入使我们能够直接在具有模拟提升误差的 3D 轨迹上进行训练，从而将训练与图像以及任何特定的跟踪器或几何模型解耦。将 4D 监督集中在轨迹细化上会产生一个可重复使用的模型，该模型可以持续改进跟踪器和几何提供者之间的由二维提升到三维的轨迹，而无需重新训练，因此它可以直接受益于任一组件的未来进步。在 WorldTrack 上，ReLift 实现了最先进的平均精度，相比最强基线，在全部点和动态点上的 APD 分别提高 2.1 和 3.0，并且更快的配置与领先的 3D 跟踪器保持竞争，同时运行速度比 4RC 更快。请访问我们的补充页面以获取更多示例和代码。