MVTrack4Gen：多视点跟踪作为 4D 视频生成的几何监督

沿着目标相机轨迹从单眼参考视频合成新视角视频需要相对于参考视频的几何一致性和运动保真度。基于显式 3D 表示的现有方法受到现成重建模块精度的限制，这些模块通常会为单目视频中的动态对象产生不准确的几何形状。相比之下，仅使用相机调节的方法可以实现较高的视觉质量，但通常难以保持几何和运动的一致性。在这项工作中，我们介绍了MVTrack4Gen（用于新视图生成的多视点跟踪），这是一种运动感知训练框架，它利用多视点跟踪作为仅相机调节的新视图视频扩散模型的附加几何和运动监督信号。我们的主要发现是，特定的注意力层编码了强对应线索，其中查询特征关注跨视图和随时间的几何对应位置的关键特征，并且这些对应关系的未对准导致运动不一致。基于这一观察，我们将这些特征路由到辅助多视图跟踪头中，并与点跟踪目标联合训练扩散模型。通过显式强化这些运动感知对应关系，MVTrack4Gen 改进了现有模型，以更好地跟踪参考视图中的运动并保持跨视图几何一致性。在不同的基准测试中，我们的方法实现了最先进的几何一致性和具有竞争力的相机精度。