论文
Amodal SAM:具有泛化能力的统一 Amodal 分割框架
Amodal SAM: A Unified Amodal Segmentation Framework with Generalization
摘要
非模态分割是一项具有挑战性的任务,旨在预测对象的完整几何形状,包括其遮挡区域。尽管现有方法主要关注训练领域内的非模态分割,但这些方法通常缺乏有效扩展到新的对象类别和看不见的上下文的泛化能力。本文介绍了 Amodal SAM,这是一个利用 SAM(任意分段模型)进行非模态图像和非模态视频分割的统一框架。 Amodal SAM 保留了 SAM 强大的泛化能力,同时将其固有功能扩展到非模态分割任务。这些改进体现在三个方面:(1) 一个轻量级的空间完成适配器,可实现遮挡区域重建;(2) 一个目标感知遮挡合成 (TAOS) 管道,通过生成不同的合成训练数据来解决非模态注释的稀缺问题;(3) 强制区域一致性和拓扑正则化的新颖学习目标。大量实验表明,Amodal SAM 在标准基准上实现了最先进的性能,同时对新场景表现出强大的泛化能力。我们预计这项研究将推动该领域走向实用的非模态分割系统,能够在不受约束的现实环境中有效运行。