论文
超越视觉质量:使用 EgoGenEval 评估自我运动下的物理一致性
Beyond Visual Quality: Evaluating Physical Consistency under Ego-Motion with EgoGenEval
摘要
最近的视觉生成器产生高保真图像,但经常违反自我运动下的物理一致性,限制了它们在空间推理和具体规划中的使用。现有的基准测试主要关注孤立的图像或单步质量,导致这一挑战尚未得到充分探索。我们介绍了 EgoGenEval,一个基于几何的、无姿态的基准,旨在评估自我运动下视觉生成器的物理一致性,并将我们的研究分为两部分。 (1) EgoGenEval 包含 1,400 个案例和 2,360 个目标视图,涵盖单步和多步自我运动。它分别测量相机运动对齐(CMG)和场景状态保持(SSP),这两个指标都针对盲评的人类判断进行了验证。对 16 个无姿态生成器以及两个姿态条件参考进行评估表明,当前模型很难在保持场景状态的同时执行相机运动,并且没有系统能够同时在两个轴上表现良好。 (2) 为了检查基准导出的数据是否可以提高这些能力,我们从相同的几何基础管道构建 EgoGen-Train 并运行受控的 SFT 研究。这些表明,成对监督并不能可靠地同时改善相机运动基础和场景状态保存:即使在完整的训练池和最长的预算下,场景保存效果也只是相机运动的一小部分。这表明成对的教师强制目标本身作为约束约束,激发了一种以轨迹为中心的范式,将自我调节的预测轨迹与明确的姿势和可见性监督结合起来。