看快与慢：学习视频中的时间流动

我们如何判断视频是否被加速或减慢？我们如何生成不同速度的视频？尽管视频一直是现代计算机视觉研究的核心，但人们很少关注感知和控制时间的流逝。在本文中，我们将时间作为一种可学习的视觉概念进行研究，并开发用于推理和操纵视频中时间流动的模型。我们首先利用视频中自然存在的多模态线索和时间结构，以自我监督的方式学习，检测速度变化并估计播放速度。然后，我们表明，这些学习到的时间推理模型使我们能够从嘈杂的野外来源中策划迄今为止最大的慢动作视频数据集。这种慢动作镜头通常由高速摄像机拍摄，包含比标准视频更丰富的时间细节。利用这些数据，我们进一步开发了能够进行时间控制的模型，包括速度调节视频生成（以指定的播放速度产生运动）和时间超分辨率（将低 FPS、模糊视频转换为具有细粒度时间细节的高 FPS 序列）。我们的研究结果强调了时间作为视频学习中可操纵的感知维度，为时间可控的视频生成、时间取证检测以及了解事件如何随时间展开的潜在更丰富的世界模型打开了大门。