PhyEdit：通过基于物理的图像编辑实现现实世界的对象操作

在图像编辑中实现物理上精确的对象操作对于其在交互式世界模型中的潜在应用至关重要。然而，现有的视觉生成模型通常无法进行精确的空间操作，导致对象的缩放和定位不正确。这种限制主要源于缺乏整合 3D 几何和透视投影的明确机制。为了实现精确的操作，我们开发了 PhyEdit，这是一种图像编辑框架，利用显式几何模拟作为上下文 3D 感知视觉指导。通过将这种即插即用的 3D 先验与联合 2D--3D 监督相结合，我们的方法有效地提高了物理准确性和操作一致性。为了支持这种方法并评估性能，我们提出了一个真实世界的数据集 RealManip-40K，用于具有配对图像和深度注释的 3D 感知对象操作。我们还提出了 ManipEval，这是一个具有多维指标的基准，用于评估 3D 空间控制和几何一致性。大量实验表明，我们的方法在 3D 几何精度和操作一致性方面均优于现有方法，包括强大的闭源模型。