物理感知视频实例删除基准

视频实例删除 (VIR) 需要删除目标对象，同时保持背景完整性和物理一致性，例如镜面反射和照明交互。尽管文本引导编辑取得了进步，但当前的基准测试主要评估视觉合理性，常常忽视物理因果关系，例如由对象删除触发的挥之不去的阴影。我们推出了物理感知视频实例删除 (PVIR) 基准，其中包含 95 个高质量视频，并带有实例准确的蒙版和删除提示。 PVIR 分为简单子集和硬子集，后者明确针对复杂的物理交互。我们评估了四种代表性方法：PISCO-Removal、UniVideo、DiffuEraser 和 CoCoCo，使用跨三个维度的解耦人类评估协议来隔离语义、视觉和空间故障：指令遵循、渲染质量和编辑排他性。我们的结果表明，PISCO-Removal 和 UniVideo 实现了最先进的性能，而 DiffuEraser 经常引入模糊伪像，而 CoCoCo 在遵循指令方面表现不佳。硬子集的持续性能下降凸显了恢复复杂物理副作用的持续挑战。