论文
查询比我们想象的更多:揭示分割模型中的潜在知识
Queries Knew More Than We Thought: Uncovering Latent Knowledge in Segmentation Models
摘要
现代分段器通常会在昂贵的计算完成后失败:模型的查询条件候选者中存在有用的掩码,但部署的选择规则不会公开它。我们在冻结的 DETR 系列模型中研究了这种输出选择瓶颈。仅真值的预言机首先在已计算的掩码提案中显示大量隐藏的空间。这就提出了一个简单的问题:我们如何才能更好地使用分段器已经计算但未公开的掩码?然后,我们询问是否可以在不添加查询、生成新掩码、重新运行主干网或更新权重的情况下恢复该净空。 HYDRA 是一个小型选择器,仅针对缓存的冻结输出进行训练。在推理时,它根据显式的保持基线选项对缓存的候选者进行评分,并且仅当保留的校准余量表明所选候选者足够好时才采取行动。经过训练分割缓存的训练和保留数据的校准,HYDRA 在 ADE20k 和 COCO 上将 Mask2Former、MaskDINO 和 OneFormer 提高了高达 +7.41 的数据集 mIoU 点,并在 8 个域中平均将 SAM 3 提高了 +9.4 类宏提示 IoU 点,同时通过校准保留了有用的预测。成对的 LoRA 控制表明,轻量级权重自适应并不能消除瓶颈:暴露的预测通常是平坦的或更差,而在经过适应的候选者上进行路由仍然可以恢复准确性。最后,我们将效果与二分匹配下的查询专业化联系起来,并在受控的 TinyDETR 研究中进行验证。这些结果表明,冻结分段器不仅应该通过它们暴露的掩模来评估,还应该通过它们抑制的有用候选者来评估。