论文
MotionInsight:诊断生成视频中的对象运动缺陷
MotionInsight: Diagnosing Object Motion Deficiencies in Generated Videos
摘要
尽管视频生成模型取得了快速进展,但它们仍然表现出明显的运动缺陷,通常表现为不正确的对象运动。然而,大多数现有的视频质量评估侧重于审美质量或文本视频对齐。为了解决这一差距,我们研究以对象为中心的运动保真度评估,根据对象一致性、运动连续性和物理合理性评估目标对象。为了实现这一目标,我们首先引入 VidMotion,这是一个包含 6,879 个视频的诊断数据集,其中包含指定的移动对象和细粒度注释,包括维度分数和失败原因。我们进一步提出了 MotionInsight,一种诊断评估器,可将评估从隐式 RGB 帧观察转变为显式运动空间诊断。通过构建运动感知表示,MotionInsight 使细微的运动缺陷更容易观察到。我们还在 GRPO 期间引入了针对运动的奖励,将观察到的运动转化为诊断评估。实验表明,MotionInsight 为诊断物体运动缺陷提供了有效的基础,在三个维度上生成与人类一致的分数和grounding解释。