论文
PhyProbe:重新思考生成视频中的物理一致性评估
PhyProbe: Rethinking Physical Consistency Evaluation in Generated Videos
摘要
评估生成视频的物理一致性仍然是一个基本挑战。现有的方法依赖于现成的视觉语言模型,这些模型通常对物理动力学是近视的,或者依赖于经过人类注释训练的微调评估器,这些模型过度适合数据集特定的线索并且无法泛化。一个关键的挑战是现有的监督源提供相对排序或绝对分数,但在不同的设置中不能既可靠又一致。为此,我们引入了 PhyProbe,这是一种评估器,它从冻结的预训练时空编码器中提取特征,并通过轻量级评分头将它们映射到标量物理一致性违规分数。 PhyProbe 通过统一的目标进行训练,该目标结合了成对排序、噪声标量注释回归以及对一组精选的异构监督源进行基于锚定的校准。实验表明,PhyProbe 在大多数成对基准测试中优于现有方法,涵盖不同对应关系下的真实生成和生成生成对,在无对应和生成生成设置中收益最大,而现有的微调评估器性能急剧下降。 PhyProbe 与人类判断实现了很强的相关性,基于排名的指标和线性指标之间非常一致,这表明分数既有序又锚定在稳定的 [0, 1] 范围内。此外,尽管接受了指示物理一致性监督的培训,但没有明确的一般偏好标签,PhyProbe 在人类偏好基准上也表现出竞争力:与物理违规与更广泛的质量下降纠缠在一起的观察结果一致。