语义翻转：综合 OOD 生成，用于体现问答和空间定位中的鲁棒拒绝

检测无法回答的用户查询对于现实世界的具体代理的可靠部署仍然至关重要。然而，即使可用的视觉记忆无法支持查询，现代视觉语言模型（VLM）通常也会生成过于自信的答案。这种过度自信会带来各种与任务相关的风险。代理可以在具体问答中向用户提供误导性信息，并选择任意坐标并在空间推理中物理引导用户进行导航。尽管风险很大，但之前只有少数研究直接解决了具体的 VLM 何时以及如何回应“我不知道”。这项工作提出了 Semantic Flip，这是一个简单而有效的框架，可以合成辅助的分布外 (OOD) 样本来实现体现拒绝，而不需要外部 OOD 注释。关键思想是独立地转换查询和视频内存，以构建缺乏充分视觉依据的辅助 OOD 对。这些合成对能够在冻结的预训练 VLM 之上训练轻量级拒绝模块。该模块可附加到任何现有的基于 VLM 的管道，而无需重新训练底层模型。在两个互补的基准中，语义翻转始终优于强提示基准。这项工作还引入了 SpaceReject，这是一种新的空间定位拒绝基准，在长视频内存上故意进行无法回答的查询，其中 Semantic Flip 获得了 0.9559 的 $F_1$ 分数。源代码和数据集可在 https://github.com/ndb796/SemanticFlip 上公开获取。