自然语言相机运动理解

了解自然语言中的摄像机运动对于训练和评估视频生成模型以及其他应用至关重要。然而，我们证明现有的视觉语言模型（VLM）以令人惊讶的方式失败了这项任务，经常将平移与旋转、左与右、物体移动与相机移动混淆。为了解决这些限制，我们将自然语言相机运动理解作为一项独立的研究任务。我们引入了两级电影分类法和一个广泛的原子基准，包括真实和合成视频。此外，我们还策划了一个大规模的多源训练集，通过有针对性的相机运动增强来增强。我们经过微调的 VLM-8B 在基准测试的真实视频和合成视频中分别比 Gemini 3.1 Pro 快 10% 和 11%。尽管取得了这些进展，但与人类表现相比仍然存在显着差距，这凸显了促进和促进自然语言相机运动理解的未来研究的必要性。