快速采样：通过泰勒级数选择时间惊喜

虽然长视频中的大多数帧都是冗余的，但关键信息存在于时间意外中：实际视觉特征偏离其预测演变的时刻。受人脑预测编码的启发，我们引入了 Swift Sampling，这是一种优雅的 无需训练 帧选择算法，可自动识别视频中的高信息时刻。具体来说，我们将视频建模为视觉潜在空间中的可微轨迹，并计算其特征的速度和加速度。然后，我们应用泰勒展开来投影后续帧的预期路径。与该预测流形急剧偏离的帧被识别为时间上令人惊讶的帧并被选择进行采样。与之前依赖辅助网络或视频特定超参数调整的 无需训练 方法不同，Swift 采样非常轻量，仅比基线增加 0.02 倍的额外计算成本，使其开销比领先基线便宜 30 倍。在三个长视频问答基准和 10 个不同的下游任务中，快速采样优于统一采样和先前的查询不可知基准。它对于帧预算有限的长视频尤其强大，可将准确度提高高达 +12.5 点。