KeyFrame-Compass：对关键帧条件视频生成的综合评估

视频生成越来越依赖于基于关键帧的工作流程，其中创建者指定一系列参考图像来指导生成。尽管最近的模型支持多关键帧调节，但仍不清楚它们是否能够忠实地再现规定的关键帧，同时保持整体视频质量。我们推出了 KeyFrame-Compass，这是第一个用于评估关键帧调节视频生成的综合基准。该基准测试包含 386 个精心策划的样本，涵盖三个应用领域、两种视频结构、两种提示粒度、两种调节格式和四种关键帧密度，从而能够在不同的生成设置下进行受控分析。我们进一步引入了一个自动评估框架，可以联合测量关键帧执行和整体视频质量。具体来说，我们将关键帧执行分解为六个互补指标，涵盖存在性、保真度、时间顺序、本地化、持久性和唯一性，同时通过基于证据的 MLLM 判断并辅以专门的感知模型来评估整体视频质量。对九个代表性视频生成系统的实验揭示了几个基本局限性。当前模型在忠实关键帧执行和自然视频合成之间表现出明显的权衡。随着关键帧约束变得更加密集，它们的性能进一步下降，并且大多数开源模型也无法将故事板网格输入解释为按时间排序的关键帧序列。