开放词汇语义分割的测试时原型适应

开放词汇语义分割 (OVSS) 重新利用预训练的 CLIP 编码器进行密集预测，无需额外的标记监督。现有方法通过重新设计其内部注意力或通过注入辅助视觉基础模型的特征来改善 CLIP 的空间行为；两者都需要访问主机的内部计算，并针对其特定的前向传播进行定制。在这项工作中，我们提出了测试时原型适应（TPA），这是一个在输出级别运行的 无需训练 插件，使主机的前向传递和权重保持不变。通过利用轻量级转导适应阶段，TPA 从主机自己对一小部分未标记的部署域图像的输出预测中识别出置信的锚点补丁，并将其冻结的 DINO 特征聚合到每个类的原型中；推断时，针对此冻结库的单个余弦相似性查找提供了与主机的 logits 线性融合的辅助分数。 TPA 由五个具有代表性的 OVSS 主机组成，涵盖注意力重新设计和 VFM 注入设计、三个 CLIP 主干、八个基准测试和多个内部 VFM 选择。在一组超参数下，并且无需针对每个主机进行调整或参数更新，TPA 能够持续提高分割准确性，只需大约 10% 的未标记部署域图像就足以在大多数基准测试中进行有效的银行构建。