强大的即时视频对象分割

在输入损坏的情况下，即时视频对象分割 (PVOS) 模型的性能会大幅下降，从而阻碍了 PVOS 在安全关键领域的部署。本文首次对鲁棒 PVOS (RobustPVOS) 进行了全面研究。我们首先构建了一个新的综合基准，其中包含两个真实世界评估数据集，其中包含真实世界不利条件下的 351 个视频剪辑和 2,500 多个对象蒙版。同时，我们通过对现有 VOS 数据集应用不同的、随时间变化的损坏来生成合成训练数据。此外，我们提出了一种新的 RobustPVOS 方法，称为内存对象条件门控秩适应（MoGA）。成功执行 RobustPVOS 的关键有两个：有效处理特定于对象的退化并确保预测的时间一致性。 MoGA 利用跨帧内存中维护的特定于对象的表示来调节鲁棒化过程，这使得模型能够以时间一致的方式以不同的方式处理每个跟踪对象。我们的基准测试的大量实验验证了 MoGA 的功效，在合成数据集和真实数据集上显示了不同腐败类型的一致且显着的改进，为未来的 RobustPVOS 研究建立了强有力的基线。我们的基准测试可在 https://sohyun-l.github.io/RobustPVOS_project_page/ 上公开获取。