VERTIGO：电影摄影机轨迹生成的视觉偏好优化

电影摄影机控制依赖于导演和电影摄影师之间的紧密反馈循环，其中摄影机运动和取景不断受到审查和完善。最近的生成相机系统可以产生多样化的、文本调节的轨迹，但它们缺乏这种“循环中的导演”，并且没有明确的监督镜头是否在视觉上令人满意。这会导致摄像机运动分布均匀，但取景效果不佳、角色超出屏幕范围以及不理想的视觉美感。在本文中，我们介绍了 VERTIGO，这是第一个用于相机轨迹生成器视觉偏好优化的框架。我们的框架利用实时图形引擎 (Unity) 从生成的相机运动中渲染 2D 视觉预览。然后，经过电影微调的视觉语言模型使用我们提出的循环语义相似性机制对这些预览进行评分，该机制将渲染与文本提示对齐。此过程为直接偏好优化 (DPO) 后训练 提供视觉偏好信号。对 Unity 渲染和基于扩散的相机到视频管道的定量评估和用户研究都显示出在条件依从性、帧质量和感知真实感方面的持续进步。值得注意的是，VERTIGO 将角色离屏率从 38% 降低到接近 0%，同时保留了摄像机运动的几何保真度。用户研究参与者在构图、一致性、即时依从性和审美质量方面进一步偏爱 VERTIGO，这证实了我们视觉偏好 后训练 的感知优势。