MIRA-Bench：镜面场景RGB-D基准揭示深度可能误导VLM推理

视觉语言模型 (VLMs) 在空间推理方面取得了重大进展，特别是通过将 RGB 图像与深度数据集成，通常假设深度数据忠实地反映了物理距离。然而，镜子违反了这一假设：它们在再现物体外观的同时扭曲了深度读数，使得反射难以与真实物体区分开。由于现有基准测试很少考虑此类反射场景，因此镜子场景中的 VLM 性能在很大程度上仍未得到探索。在这项工作中，我们引入了来自反射场景的以镜子为中心的 RGB-D 数据集，以评估最先进的 VLMs 在这些场景中的空间推理能力。具体来说，我们从 525 个真实场景中收集了 1,011 张 RGB-D 图像，涵盖不同的室内和室外环境、六种反射表面类型以及白天和夜间条件。所有图像均使用反射表面区域掩模以及直接观测物体和镜面反射物体的掩码标注进行标注。然后，我们整理构建了一个名为 MIRA-Bench（镜面诱发推理歧义基准）的基准，其中包括 14,140 个 QA 对，涉及八个子任务，分为三个认知级别：反射感知、空间推理和场景级决策。我们在 MIRA-Bench 上评估最先进的 VLMs 并发现跨任务的一致失败：模型错误分类对象是直接观察还是反射，无法将反射实例与其现实世界的对应实例匹配，并产生错误的空间推断。值得注意的是，提供深度数据实际上会降低推理性能，这意味着 VLMs 无法识别镜像场景中的错误深度。代码和数据可在 https://github.com/EvaYin-cloud/MIRA-Bench 获取