Geo3R：减轻多模态中的空间推理幻觉大语言模型

摘要

尽管在视觉理解方面取得了显着进步，但多模态大语言模型 (MLLM) 在推理空间关系时仍然容易产生幻觉，经常产生与场景的真实 3D 结构相矛盾的判断。尽管现有的几项工作已提出减轻幻觉，但我们的分析表明，它们在空间推理方面的有效性有限，因为它们未能弥合 2D 视觉表示和 3D 空间现实之间的根本差距。基于这一发现，我们将由于空间结构建模不足而产生的幻觉定义为空间推理幻觉，这是现有缓解方法无法解决的关系幻觉的一个子类别。我们进一步确定了这种幻觉经常发生的三种典型场景：透视效应、物体方向和视点变化。为此，我们提出了 Geo3R，一种无需训练即插即用框架，它结合了几何证据和结构化 3D 推理，以减轻空间推理幻觉。对三个基准的实验涵盖所有三种场景的 18 项任务，结果表明，Geo3R 无需额外训练即可显着减少不同 MLLM 的空间推理幻觉，其性能优于现有模型和方法。