EgoProx：跨认知层次评估基于自我中心 3D 邻近推理的 MLLM

人类不断地推理 3D 邻近度、身体与周围物体之间的关系，以指导日常生活中的感知和行动。多模态 大语言模型 (MLLM) 是否可以执行此类具体 3D 推理仍不清楚。为此，我们引入了 EgoProx，这是以自我为中心的 3D 邻近推理的基准。我们沿着认知链组织我们的任务，涵盖意图、探索、利用和行动链推理。我们还设计了一个基于代理的数据引擎，可以大规模生成多样化且一致的 QA 对。我们在 EgoProx 上对流行的 MLLM 进行基准测试，并通过特定于数据集和特定于任务的指令调整进行额外的分析。我们观察到较大的跨域增益，表明当前的 MLLM 包含一些空间知识；然而，他们仍然难以有效地利用它进行空间推理 VQA。