论文

求救! :用于无模型分割的简化的对象条件 Transformer

SOS! : A Streamlined Object-Conditional Transformer for Model-free Segmentation

模型架构Transformer

摘要

基础分割模型擅长生成高质量、与类别无关的掩模,但它们很难将这些建议与特定的目标对象关联起来。这种语义差距严重阻碍了它们在机器人操作等下游应用中的部署,这些应用需要精确的看不见的对象分割。现有方法试图通过依赖详尽的 3D 对象模型先验来解决这个问题,这本质上会引入过高的计算开销和复杂的多级管道。为了解决这些限制,我们提出了 SOS(用于无模型分割的简化对象条件 Transformer)。 SOS 完全消除了对 3D 模型的依赖,每个目标对象仅需要一个参考图像。我们框架的核心是一个新颖的对象条件 Transformer,它学习身份锚定查询,将掩码生成和目标识别统一到单个前馈传递中。这种简化的设计极大地提高了结构和计算效率。跨多个基准的广泛评估表明,SOS 为无模型的不可见物体分割建立了新的最先进技术,提供准确且高效的性能。项目页面和代码可在 https://sos-seg.github.io/ 获取。