迈向开放世界指代表达理解：无需训练 多任务一致性检查器的基准

参考表达理解（REC）旨在根据给定的表达在图像中定位目标对象。尽管视觉语言模型的最新进展已经导致 REC 任务的显着改进，但当前的 REC 基准通常包含简单的场景以及每个表达式映射到唯一对象的假设。这些限制阻碍了 REC 模型在开放世界环境中的部署。为了填补这一空白，我们引入了 OpenRef，这是复杂视觉和语言场景中 REC 的新基准。 OpenRef具有三个关键的进步：1）多样化的视觉场景：跨越不同的视觉领域，包括地面视图、无人机视图、黑暗场景和恶劣天气条件； 2）可变目标计数：以多目标和非目标样本打破单目标限制； 3）丰富的词汇类型：融入专有名词、多义词、序数词，适应更广泛的表达需求。此外，由于传统指标不足以满足开放世界的要求，我们利用 F1 来测量定位精度，并提出 N3R（负相对拒绝可靠性）来评估针对负表达的相对拒绝可靠性。最后，我们介绍多任务一致性检查器（MCC），这是一种 无需训练 即插即用策略，通过强制一致性自验证，一键增强模型性能。大量实验表明，这项工作显着提高了现有 REC 模型在复杂场景中的性能，为开放世界 REC 铺平了道路。项目页面：https://zongjianwu.github.io/openref