InsightSeg：重用纠正见解以实现指南一致的分割

与指南一致的语义分割需要的不仅仅是类别识别，因为现实世界的标签策略需要细粒度的、针对特定任务的决策。最近的多智能体细化系统通过检测和纠正错误来提高对此类文本指南的遵从性。然而，它们是无状态的：来自批评代理的反馈被丢弃，导致相同的特定于指南的错误在数据集中被重复地重新发现和纠正，但代价是额外的细化。我们引入了 InsightSeg，一种情景记忆机制，可将成功的纠正情景转化为可重复使用的、基于视觉的见解。元分析器将每个合格的片段提炼为指导性的自然语言见解，并使用补丁级视觉概念向量将它们锚定到导致错误的局部图像区域。在后续图像中，这些概念与密集补丁嵌入相匹配，以检索相关见解，从而在进行第一次预测之前对分割代理进行调节。这使系统从纠正重复出现的错误转变为预防错误，从而在进行任何细化之前提高分割质量。在 Waymo 和 Cityscapes 中，InsightSeg 提高了首次通过和最终符合指南的分割性能，同时需要更少的细化步骤，这表明通过借鉴过去的校正经验，多智能体细化可以变得更加准确和高效。