论文
PhyEditBench:物理感知图像编辑的真实多阶段基准
PhyEditBench: A Real-World Multi-Stage Benchmark for Physics-Aware Image Editing
摘要
虽然多模态生成模型支持的基于指令的图像编辑已取得显着进步,但现有基准缺乏对基于物理的推理的全面评估,而基于物理的推理是处理现实世界场景的关键能力。为了解决这个问题,我们引入了 PhyEditBench,这是一个旨在评估编辑模型的物理理解的基准。在分层分类法的指导下,我们建立了 4 个主要类和 12 个子类。它包含从视频中精心提取的 238 个高质量、高分辨率的真实实例,以捕捉真实的物理动态,以及 35 个合成的反物理实例。我们对当前 SOTA 编辑方法的实证分析暴露了其基于物理的推理的巨大局限性。我们进一步提出了一个名为 PhyWorld 的 无需训练 基线,它使用测试时间缩放和潜在减少策略。 PhyWorld 优于同类模型,并表明视频生成过程可以有效地充当图像编辑的推理机制。该项目页面位于 https://github.com/Previsior/PhyEditBench。